[논문 리뷰] A Rigorous Machine Learning Analysis Pipeline for Biomedical Binary Classification: Application in Pancreatic Cancer Nested Case-control Studies with Implications for Bias Assessments

Ryan J. Urbanowicz, Pranshu Suri외 5명|arXiv (Cornell University)|2020. 08. 28.

AI in cancer detection인용 수 6

한 줄 요약

이 논문은 재현 가능성, 편향 완화, 해석 가능성에 중점을 두고 생물의학적 이진 분류를 위한 철저하고 커스터마이징 가능한 기계학습 파이프라인을 제시한다. 데이터 전처리, 특성 선택, 하이퍼파rameter 튜닝을 포함한 9종의 기계학습 알고리즘, 그리고 새로운 시각화 기법을 통합하여 췌장암 내재된 케이스-컨트롤 연구에서의 유용성을 입증하며, ExSTraCS가 예측 성능가장 높은 것은 아니지만 이질적인 연관성을 탐지하는 데서 강점을 보임을 시사한다.

ABSTRACT

Machine learning (ML) offers a collection of powerful approaches for detecting and modeling associations, often applied to data having a large number of features and/or complex associations. Currently, there are many tools to facilitate implementing custom ML analyses (e.g. scikit-learn). Interest is also increasing in automated ML packages, which can make it easier for non-experts to apply ML and have the potential to improve model performance. ML permeates most subfields of biomedical research with varying levels of rigor and correct usage. Tremendous opportunities offered by ML are frequently offset by the challenge of assembling comprehensive analysis pipelines, and the ease of ML misuse. In this work we have laid out and assembled a complete, rigorous ML analysis pipeline focused on binary classification (i.e. case/control prediction), and applied this pipeline to both simulated and real world data. At a high level, this 'automated' but customizable pipeline includes a) exploratory analysis, b) data cleaning and transformation, c) feature selection, d) model training with 9 established ML algorithms, each with hyperparameter optimization, and e) thorough evaluation, including appropriate metrics, statistical analyses, and novel visualizations. This pipeline organizes the many subtle complexities of ML pipeline assembly to illustrate best practices to avoid bias and ensure reproducibility. Additionally, this pipeline is the first to compare established ML algorithms to 'ExSTraCS', a rule-based ML algorithm with the unique capability of interpretably modeling heterogeneous patterns of association. While designed to be widely applicable we apply this pipeline to an epidemiological investigation of established and newly identified risk factors for pancreatic cancer to evaluate how different sources of bias might be handled by ML algorithms.

연구 동기 및 목표

• 생물의학 연구에서 재현 가능성을 보장하고 편향을 줄이는 표준화되고 철저한 기계학습 파이프라인의 부족을 해결하기 위해.
• 복잡하고 고차원적인 생물의학 데이터에서 이진 분류를 위한 종합적이고 자동화되면서도 커스터마이징 가능한 파이프라인을 개발하기 위해.
• 실제 및 시뮬레이션된 췌장암 데이터셋에서 다양한 기계학습 알고리즘(예: 규칙 기반의 ExSTraCS)의 성능을 평가하기 위해.
• 연구 설계 편향(예: 케이스/컨트롤 매칭, 혼란 변수 포함)이 기계학습 모델 결과와 특성 선택에 미치는 영향을 평가하기 위해.
• 새로운 시각화 기법과 집합적 특성 선택을 통합하여 기계학습의 투명성과 해석 가능성 향상을 위해.

제안 방법

• 파이프라인은 네 단계로 구성된다: 데이터 전처리 및 변환, 다수 알고리즘을 활용한 집합적 특성 선택, 자동 하이퍼파rameter 최적화를 통한 9종의 기존 기계학습 모델 훈련, 후처리 분석 평가.
• 특성 선택은 다수 알고리즘의 결과를 통합하여 변수 중요도 추정의 정확성과 안정성을 향상시키고 편향을 감소시키는 집합적 접근을 사용한다.
• 모델 훈련에는 랜덤 포레스트, XGBoost, SVM, 로지스틱 회귀 등 9종의 알고리즘이 포함되며, Optuna를 통한 베이지안 하이퍼파rameter 최적화가 적용된다.
• ExSTraCS는 규칙 기반 학습 알고리즘으로, 에피스태시스와 같은 복잡한 이질적 연관성을 탐지할 수 있어 블랙박스 모델을 초월한 해석 가능성을 제공한다.
• 평가에는 AUC, 정확도, F1 등의 다중 지표, 통계적 검정, 그리고 모델 해석을 위한 새로운 복합 특성 중요도 막대도표(CFIBPs)가 사용된다.
• 파이프라인은 파이썬으로 구현되었으며 확장 가능하도록 설계되어 있으며, scikit-learn 호환 알고리즘과 ExSTraCS와 같은 독립형 알고리즘 모두를 지원한다.

실험 결과

연구 질문

• RQ1 제안된 기계학습 파이프라인이 광범위한 접근 방식에 비해 생물의학적 이진 분류에서 재현 가능성 향상과 편향 감소에 얼마나 기여하는가?
• RQ2 다양한 수준의 혼란 변수와 특성 복잡도를 가진 다양한 췌장암 데이터셋에서 다양한 기계학습 알고리즘(ExSTraCS 포함)의 성능는 어느 정도인가?
• RQ3 케이스/컨트롤 매칭 및 식이 변수 포함 여부와 같은 연구 설계 선택이 기계학습 모델 성능와 특성 선택 결과에 어떤 영향을 미치는가?
• RQ4 ExSTraCS는 예측 정확도가 항상 높지 않음에도 불구하고 다른 알고리즘이 간과하는 이질적 연관성 패턴을 탐지할 수 있는가?
• RQ5 CFIBPs와 같은 새로운 시각화 기법이 기계학습 기반 생물의학 연구에서 모델의 해석 가능성과 편향 평가에 어떤 역할을 하는가?

주요 결과

• 파이프라인이 케이스/컨트롤 매칭과 혼란 변수로부터 발생하는 편향을 성공적으로 완화하여, 세 데이터셋 전반에서 알려진 췌장암 위험 요인을 확인했다.
• 식이 변수를 통합함으로써 예측 성능에 소량이지만 일관된 이점이 있었지만, 가장 유용한 요소는 데이터셋 간에 달라졌다.
• ExSTraCS는 모든 데이터셋에서 최고의 AUC를 기록하지는 않았지만 다양한 평가 지표와 데이터셋에서 안정적인 성능를 보여, 뛰어난 일반화 능력을 입증했다.
• 집합적 특성 선택 접근법은 개별 알고리즘의 편향에 대한 과도한 의존도를 감소시켜 변수 중요도 순위의 신뢰성 향상에 기여했다.
• 다양한 기계학습 알고리즘이 서로 다른 데이터셋에서 최고의 성능를 보였으며, 이는 모델 평가 시 알고리즘의 다양성 필요성을 강조한다.
• ExSTraCS의 해석 가능성과 이질적 연관성 모델링 능력은 탐색 중심의 역학 연구에서 기계학습 파이프라인에 있어 귀중한 보완 요소이다.