[논문 리뷰] The TCGA Meta-Dataset Clinical Benchmark

Mandana Samiei, Tobias Würfl외 7명|arXiv (Cornell University)|2019. 10. 18.

Radiomics and Machine Learning in Medical Imaging참고 문헌 18인용 수 6

한 줄 요약

이 논문은 유전자 발현 데이터(20,530개 유전자)를 사용하여 The Cancer Genome Atlas(TCGA)에서 파생된 174개의 임상 예측 과제를 포함하는 TCGA 메타-데이터셋을 소개한다. 이는 유전체학에서 소수의 샘플을 활용한 다중 과제 학습을 가능하게 하기 위한 벤치마크이다. 150개 샘플 분할에서 로지스틱 회귀, 1층 신경망, 3층 MLP를 평가한 결과, MLP가 모든 과제에서 평균 정확도 71.19%를 기록하며 로지스틱 회귀와 다수결 기준선을 모두 앞서나갔다.

ABSTRACT

Machine learning is bringing a paradigm shift to healthcare by changing the process of disease diagnosis and prognosis in clinics and hospitals. This development equips doctors and medical staff with tools to evaluate their hypotheses and hence make more precise decisions. Although most current research in the literature seeks to develop techniques and methods for predicting one particular clinical outcome, this approach is far from the reality of clinical decision making in which you have to consider several factors simultaneously. In addition, it is difficult to follow the recent progress concretely as there is a lack of consistency in benchmark datasets and task definitions in the field of Genomics. To address the aforementioned issues, we provide a clinical Meta-Dataset derived from the publicly available data hub called The Cancer Genome Atlas Program (TCGA) that contains 174 tasks. We believe those tasks could be good proxy tasks to develop methods which can work on a few samples of gene expression data. Also, learning to predict multiple clinical variables using gene-expression data is an important task due to the variety of phenotypes in clinical problems and lack of samples for some of the rare variables. The defined tasks cover a wide range of clinical problems including predicting tumor tissue site, white cell count, histological type, family history of cancer, gender, and many others which we explain later in the paper. Each task represents an independent dataset. We use regression and neural network baselines for all the tasks using only 150 samples and compare their performance.

연구 동기 및 목표

• 유전체학 분야에서 기계학습 모델을 평가하기 위한 일관되고 공개 가능한 벤치마크 데이터셋의 부족을 해결하기 위해.
• 유전자 발현 데이터를 사용하여 다양한 임상 결과에 대해 표준화되고 재현 가능한 프레임워크를 제공하기 위해.
• 작은 샘플 수를 가진 각 과제에서 상호관련성이 있는 임상 과제들을 활용하여 다중 과제 학습을 통해 일반화 능력을 향상시키기 위해.
• 광범위한 편재성 암 임상 예측 과제에 대해 감독 학습 모델의 기준 성능을 설정하기 위해.

제안 방법

• TCGA 메타-데이터셋은 174개의 독립된 분류 과제로 구성되며, 각 과제는 임상 표현형(예: 성별, 종양 부위, 생존 상태)과 특정 암 유형(예: BRCA, KIRP)으로 정의된다.
• 각 과제는 20,530개 유전자로부터의 유전자 발현 데이터를 입력으로 사용하며, 과제당 150개 샘플이 50개의 훈련 샘플과 100개의 테스트 샘플로 나뉜다.
• 연구는 Torchmeta 라이브러리를 사용하여 메타-로더를 구현하여 훈련 및 평가를 위한 과제 샘플링을 효율적으로 수행한다.
• 세 가지 기준 모델을 평가한다: 다수결 분류기(dummy), 로지스틱 회귀(소프트맥스를 사용한 1층 신경망), ReLU 활성화 함수와 Adam 최적화를 사용한 3층 MLP.
• MLP에 대한 초모수 튜닝은 랜덤 시드 0에서 9까지의 10겹 교차 검증 설정을 사용하여 정확도를 높이고 결과의 안정성을 확보한다.
• 성능 평가는 모든 과제에서 정확도를 사용하며, 결과는 10회의 시도 평균을 내어 변동성을 줄인다.

실험 결과

연구 질문

• RQ1 TCGA에서 유도된 임상 예측 과제의 통합 벤치마크는 유전체학 기계학습 연구의 재현성과 비교 가능성 향상에 기여하는가?
• RQ2 다양한 기계학습 모델은 유전자 발현 데이터를 사용하여 소수의 샘플을 가진 임상 예측 과제에서 어떻게 성능을 내는가?
• RQ3 상호관련성이 있는 임상 표현형 간의 다중 과제 학습은 단일 과제 기준선 대비 모델의 일반화 능력을 향상시키는가?
• RQ4 표준 감독 학습 모델(예: 로지스틱 회귀, MLP)은 소수의 샘플을 가진 다양한 174개의 임상 과제에서 어떤 성능 한계를 가지는가?

주요 결과

• 3층 MLP는 모든 174개 과제에서 평균 정확도 71.19%를 기록하며, 로지스틱 회귀(68.78%)와 다수결 기준선(66.18%)을 크게 앞서나갔다.
• 로지스틱 회귀는 다수결 기준선보다 성능이 뛰어났지만, 특히 임상 데이터의 복잡한 비선형 상호작용에서 MLP에 비해 뒤처졌다.
• 정확도의 표준편차가 가장 낮은 것은 MLP(14.62)였으며, 이는 다른 기준선 대비 다양한 임상 과제에서 더 일관된 성능을 보였음을 의미한다.
• MLP는 유전자 발현 특징과 임상 결과 간의 복잡한 비선형 상호작용을 모델링하는 데 뛰어난 능력을 보였다.
• 다수결 기준선은 66.18%의 정확도를 기록했고, 높은 표준편차(16.87)를 보여, 과제 간 성능 변동성이 높음을 시사했다.
• 결과는 향후 메타-학습 연구를 위한 강력한 기준선을 설정하였으며, 과제 간 공통된 인도크티브 바이어스를 활용하면 소수의 샘플에서의 일반화 능력 향상에 기여할 수 있다.