[논문 리뷰] Autoencoders as Weight Initialization of Deep Classification Networks for Cancer versus Cancer Studies

Mafalda Falcão Ferreira, Rui Camacho외 1명|arXiv (Cornell University)|2020. 01. 15.

AI in cancer detection참고 문헌 9인용 수 5

한 줄 요약

이 연구는 갑상선, 피부 및 위암의 유전자 발현 데이터 분류를 위한 깊이 신경망에서 노이즈 제거 오토인코더(DAE)를 사전 훈련 방법으로 평가한다. 완전히 사전 훈련된 DAE를 분류 네트워크에 가져와 모든 가중치를 미세조정한 결과, 갑상선암 검출에서 F1 스코어 98.04% ± 1.09를 기록하여 고정된 가중치 초기화 방식을 능가하였으며, 이는 생물의학적 분류 작업에서 엔드 투 엔드 미세조정의 효과성을 입증한다.

ABSTRACT

Cancer is still one of the most devastating diseases of our time. One way of automatically classifying tumor samples is by analyzing its derived molecular information (i.e., its genes expression signatures). In this work, we aim to distinguish three different types of cancer: thyroid, skin, and stomach. For that, we compare the performance of a Denoising Autoencoder (DAE) used as weight initialization of a deep neural network. Although we address a different domain problem in this work, we have adopted the same methodology of Ferreira et al.. In our experiments, we assess two different approaches when training the classification model: (a) fixing the weights, after pre-training the DAE, and (b) allowing fine-tuning of the entire classification network. Additionally, we apply two different strategies for embedding the DAE into the classification network: (1) by only importing the encoding layers, and (2) by inserting the complete autoencoder. Our best result was the combination of unsupervised feature learning through a DAE, followed by its full import into the classification network, and subsequent fine-tuning through supervised training, achieving an F1 score of 98.04% +/- 1.09 when identifying cancerous thyroid samples.

연구 동기 및 목표

• 깊이 학습에서 암 분류에 대한 노이즈 제거 오토인코더(DAE)의 가중치 초기화 전략으로서의 효과성을 평가하기 위해.
• 사전 훈련된 DAE 가중치를 고정하는 것과 초기화 후 전체 네트워크를 미세조정하는 두 가지 훈련 방식을 비교하기 위해.
• 분류 네트워크에서 인코딩 레이어만 사용하는 것과 전체 오토인코더(인코딩 및 디코딩 레이어 포함)를 사용하는 두 가지 임베딩 전략을 평가하기 위해.
• DAE를 사용한 비지도 사전 훈련이 갑상선, 피부 및 위암의 유전자 발현 데이터에서 분류 성능을 향상시키는지 확인하기 위해.
• DAE 사전 훈련으로 인한 성능 향상이 다양한 암 유형과 훈련 전략 간에 일관되게 나타나는지 조사하기 위해.

제안 방법

• 유전자 발현 데이터를 대상으로 The Cancer Genome Atlas(TCGA)에서 확보한 데이터를 사용하여 노이즈 제거 오토인코더(DAE)를 사전 훈련하고, 평균 제곱오차(MSE) 손실을 사용하여 재구성 오차를 최소화한다.
• 사전 훈련된 DAE 가중치를 분류를 위한 깊이 신경망의 상위 레이어에 초기화에 사용한다.
• 두 가지 전략을 평가: (1) DAE의 인코딩 레이어만 가져오는 것, (2) 전체 DAE(인코딩 및 디코딩 레이어 포함)를 가져오는 것.
• 분류 네트워크를 두 가지 접근 방식으로 훈련: (a) 초기화 후 DAE 가중치를 고정하는 것, (b) 지도 학습 중 모든 가중치를 미세조정하는 것.
• 성능 평가를 위해 5겹의 전략적 교차검증을 적용하고, 손실, 정확도, 정밀도, 재현율 및 F1 스코어를 지표로 사용한다.
• 각 폴드에서 F1 스코어 기준으로 최고 성능을 보인 모델을 선정하고, 평균 결과와 표준편차를 보고한다.

실험 결과

연구 질문

• RQ1 노이즈 제거 오토인코더(DAE)를 사전 훈련 방법으로 사용할 경우, 암 아형의 유전자 발현 데이터 분류 성능이 향상되는가?
• RQ2 DAE 사전 훈련 후 전체 네트워크를 미세조정하는 것이 사전 훈련된 가중치를 고정하는 것보다 더 효과적인가?
• RQ3 인코딩 및 디코딩 레이어를 모두 가져오는 전체 DAE를 사용할 경우, 인코딩 레이어만 가져오는 것보다 더 좋은 성능을 내는가?
• RQ4 다양한 암 유형(갑상선, 피부, 위암) 간에 DAE 기반 초기화의 성능는 어떻게 비교되는가?
• RQ5 DAE를 사용한 비지도 사전 훈련이 암 분류에 있어 생물학적으로 관련 있는 특징을 얼마나 잘 포착하는가?

주요 결과

• DAE 사전 훈련 후 전체 네트워크를 미세조정한 결과, 사전 훈련된 가중치를 고정한 경우에 비해 F1 스코어가 10–20% 향상되었으며, 이는 이전 연구 결과와는 정반대였다.
• 가장 높은 성능는 완전히 사전 훈련된 DAE를 가져오고 모든 가중치를 미세조정한 경우에 달성되었으며, 갑상선암 검출에서 F1 스코어 98.04% ± 1.09를 기록했다.
• 피부암의 경우, 전체 DAE를 사용하고 미세조정한 결과 F1 스코어 97.81% ± 1.76를 기록했고, 위암의 경우 95.63% ± 3.23에 도달했다.
• DAE의 인코딩 레이어만 사용한 모델은 모든 암 유형에서 낮은 성능를 보였으며, 갑상선암에서의 최고 F1 스코어는 97.79% ± 1.13였다.
• 결과는 전체 DAE 통합과 함께 미세조정이 최적의 성능를 달성하는 데 핵심적임을 시사하며, 디코딩 레이어가 더 나은 특징 표현에 기여함을 시사한다.
• 강력한 성능에도 불구하고, 연구에서는 DAE 사전 훈련이 모든 암 유형에서 가장 관련 있는 생물학적 특징을 일관되게 포착한다는 결론적인 증거를 발견하지 못했으며, 이는 검증 곡선의 불일치한 행동에 의해 나타났다.