[논문 리뷰] An automated machine learning framework to optimize radiomics model construction validated on twelve clinical applications

Martijn P. A. Starmans, Sebastian R. van der Voort외 44명|arXiv (Cornell University)|2021. 08. 19.

Sarcoma Diagnosis and Treatment인용 수 10

한 줄 요약

이 논문은 12개의 임상 적용 분야에서 전처리, 특징 추출, 모델링 파이프라인의 다양성에 대한 체계적인 평가를 통해 방사학적 워크플로우 구축을 완전히 최적화하는 자동화된 머신러닝 프레임워크를 제안한다. 이 방법은 AUC 0.45에서 0.87 사이의 경쟁력 있는 성능을 달성하며, 인간 전문가의 히وري스틱 및 기준 방사학적 접근 방식을 능가하고, 오픈소스 소프트웨어와 데이터셋을 통해 재현 가능성을 보장한다.

ABSTRACT

Predicting clinical outcomes from medical images using quantitative features (``radiomics'') requires many method design choices, Currently, in new clinical applications, finding the optimal radiomics method out of the wide range of methods relies on a manual, heuristic trial-and-error process. We introduce a novel automated framework that optimizes radiomics workflow construction per application by standardizing the radiomics workflow in modular components, including a large collection of algorithms for each component, and formulating a combined algorithm selection and hyperparameter optimization problem. To solve it, we employ automated machine learning through two strategies (random search and Bayesian optimization) and three ensembling approaches. Results show that a medium-sized random search and straight-forward ensembling perform similar to more advanced methods while being more efficient. Validated across twelve clinical applications, our approach outperforms both a radiomics baseline and human experts. Concluding, our framework improves and streamlines radiomics research by fully automatically optimizing radiomics workflow construction. To facilitate reproducibility, we publicly release six datasets, software of the method, and code to reproduce this study.

연구 동기 및 목표

• 새로운 임상 적용 분야에서 방사학적 모델 개발의 재현 불가능성과 높은 수동 작업량을 해결하기 위해.
• 최적의 방사학적 파이프라인을 선택하기 위한 전문가 중심의 히وري스틱적 시험·오류 과정에 대한 의존도를 줄이기 위해.
• 종합적인 워크플로우 최적화 과정을 자동화하여 방사학적 바이오마커 발견을 간소화하기 위해.
• 다양한 전처리, 특징 추출, 모델링 기법 조합을 체계적으로 평가하여 성능 향상과 일반화 능력 향상을 위해.
• 소프트웨어, 코드, 6개의 데이터셋을 공개하여 재현 가능성과 임상 적용 가능성을 증진하기 위해.

제안 방법

• 전처리, 특징 추출, 모델링를 위한 상호 교환 가능한 구성 요소를 갖춘 모듈식 워크플로우로 방사학을 정의한다.
• 방사학적 파이프라인의 하이퍼파rameter 공간 탐색 및 최적화를 위해 무작위 탐색 전략과 모델 앙상블을 결합한다.
• 강도, 텍스처, 형태, 웨이블릿 기반 특징 등을 포함한 각 워크플로우 구성 요소에 대한 포괄적인 표준 알고리즘 라이브러리를 통합한다.
• 하이퍼파rameter 탐색 중 과적합을 방지하기 위해 내재된 교차검증을 사용하여 파이프라인 성능을 평가한다.
• 일관성 있는 일반화 및 임상 해석 가능성 향상을 위해 자동 특징 선택 및 모델 校정을 적용한다.
• 재현 가능성과 확장 가능성을 보장하기 위해 오픈소스 도구 기반의 확장 가능한 소프트웨어 파이프라인을 구현한다.

실험 결과

연구 질문

• RQ1 자동화된 머신러닝이 예측 성능와 재현 가능성 측면에서 수동 전문가 중심의 방사학적 파이프라인 선택에 비해 뛰어나게 작용할 수 있는가?
• RQ2 제안된 프레임워크는 방사학적 모델 최적화에서 베이지안 최적화 및 기타 고급 앙상블 방법과 비교해 어떻게 성능을 내는가?
• RQ3 완전히 자동화된 모듈식 방사학적 워크플로우를 사용할 경우 다양한 임상 적용 분야에서 달성 가능한 성능 수준은 어느 정도인가?
• RQ4 이 프레임워크는 새로운 방사학적 적용 분야에서 도메인 전문 지식과 수동 튜닝의 필요성을 어느 정도 감소시키는가?
• RQ5 이 프레임워크는 다양한 영상 모odalities(CT, MRI, PET)와 임상 상태를 모두 포괄하면서도 견고한 성능을 유지할 수 있는가?

주요 결과

• 프레임워크는 12개의 임상 적용 분야에서 AUC가 0.45에서 0.87 사이로 변동하며, 알츠하이머병에서 가장 높은 성능인 0.87을 기록했다.
• 지방육종에서 프레임워크는 AUC 0.83을 달성하여 연조직 섬유종 예측에서 뛰어난 성능을 보였다.
• 결절성 섬유형 육종에서 이 방법은 AUC 0.82를 기록하여 희귀 섬유성 증식성 종양에서 높은 예측 정확도를 나타냈다.
• 표준 방사학적 기준 모델을 뛰어나며, 베이지안 최적화 및 고급 앙상블 방법과 비교해도 성능을 matching하거나 초월했다.
• CT, MRI, PET 등 다양한 영상 유형과 암, 신경퇴행성, 섬유화 질환 등 다양한 임상 상태에서 견고한 성능을 보였다.
• 전문가가 최적화한 파이프라인과 경쟁적으로 일관된 성능을 보였으며, 수동 작업량을 크게 줄이고 재현 가능성을 향상시켰다.