[논문 리뷰] Removing Confounding Factors Associated Weights in Deep Neural Networks Improves the Prediction Accuracy for Healthcare Applications

Haohan Wang, Zhenglin Wu외 1명|arXiv (Cornell University)|2018. 03. 20.

Machine Learning in Healthcare인용 수 7

한 줄 요약

이 논문은 연령, 성별 또는 대조제와 같은 혼란 요인과 관련된 가중치를 식별하고 제거함으로써 의료 분야에서 딥 뉴럴 네트워크의 예측 정확도를 향상시키는 데 최소한의 아키텍처 변경만으로도 가능한 Confounder Filtering (CF)을 제안한다. 상위 레이어를 재학습하여 혼란 요인을 예측하고 그 영향을 필터링함으로써, 다양한 코hort에서의 일반화 능력이 향상되며, CT, MRA 및 EEG 데이터셋 전반에서 일관된 정확도 향상이 이루어진다.

ABSTRACT

The proliferation of healthcare data has brought the opportunities of applying data-driven approaches, such as machine learning methods, to assist diagnosis. Recently, many deep learning methods have been shown with impressive successes in predicting disease status with raw input data. However, the "black-box" nature of deep learning and the high-reliability requirement of biomedical applications have created new challenges regarding the existence of confounding factors. In this paper, with a brief argument that inappropriate handling of confounding factors will lead to models' sub-optimal performance in real-world applications, we present an efficient method that can remove the influences of confounding factors such as age or gender to improve the across-cohort prediction accuracy of neural networks. One distinct advantage of our method is that it only requires minimal changes of the baseline model's architecture so that it can be plugged into most of the existing neural networks. We conduct experiments across CT-scan, MRA, and EEG brain wave with convolutional neural networks and LSTM to verify the efficiency of our method.

연구 동기 및 목표

• 의료 예측에 사용되는 딥 러닝 모델에서 연령, 성별 또는 영상 대조제와 같은 혼란 요인의 도전 과제를 해결한다.
• 혼란 요인이 유도하는 유사한 상관관계에 대한 의존도를 줄임으로써 다양한 환자 코hort 간의 모델 일반화 능력을 향상시킨다.
• 기존의 신경망 아키텍처에 최소한의 수정만으로도 적용 가능한 플러그 앤 플레이 방식의 방법을 개발한다.
• CT, MRA 및 EEG를 포함한 다양한 의료 영상 및 신호 처리 작업에서 일관된 성능 향상을 입증한다.
• 실제 환경에서의 예측 성능가 향상됨에도 불구하고 높은 실험실 정확도를 보이는 상황에서 혼란 요인이 성능을 떨어뜨린다는 경험적 증거를 제공한다.

제안 방법

• 혼란된 데이터로 원래 작업을 수행하는 표준 딥 뉴럴 네트워크(예: CNN, LSTM, U-Net)를 훈련한다.
• 질병 레이블 대신 혼란 요인(예: 성별, 연령, 대조제 존재 여부)을 예측하는 새로운 레이어로 최종 분류 레이어를 교체한다.
• 두 단계로 모델을 재학습한다: 먼저 임무 관련 특징을 학습하고, 그 다음 혼란 요인 전용 표현을 학습한다.
• 기울기 기반 분석을 사용하여 혼란 요인과 가장 강하게 관련된 상위 레이어의 가중치를 식별하고 제거한다.
• 추론 중에 이러한 혼란 요인 관련 가중치의 영향을 억제하기 위한 필터링 메커니즘을 적용한다.
• 딥 피처 선택을 사용하여 입력 픽셀이나 신호 중에서 혼란 요인을 가장 잘 예측하는 요소를 시각화함으로써, 그들이 미세하고 패턴이 없는 분포를 띠고 있음을 확인한다.

실험 결과

연구 질문

• RQ1 혼란 요인과 관련된 가중치를 제거하는 것이 의료 응용 분야에서 딥 뉴럴 네트워크의 코hort 간 일반화 능력을 향상시키는 데 기여하는가?
• RQ2 높은 샘플 내 정확도를 보일지라도, 성별, 연령 또는 대조제와 같은 혼란 요인이 모델 성능을 어느 정도 악화시키는가?
• RQ3 기존 모델에 최소한의 아키텍처 변경으로 혼란 요인의 영향을 고립하고 제거할 수 있는가?
• RQ4 훈련 과정에서 진짜 질병 신호와 관련된 가중치와 혼란 요인과 관련된 가중치를 구분할 수 있는가?
• RQ5 네트워크 아키텍처를 다시 설계하지 않고도 CF 방법이 CT, MRA 및 EEG와 같은 다양한 모odalities로 일반화 가능한가?

주요 결과

• 혼란 요인 필터링(CF)은 폐 미세엽암, 심장 심실 세분화, 학생의 혼란 상태, 뇌종양 탐지와 같은 네 가지 다양한 의료 과제에서 일관된 예측 정확도 향상을 보였다.
• 폐 미세엽암 실험에서, CF-CNN는 테스트 세트의 대조제 사용 방식이 다를 경우 특히 표준 CNN보다 더 뛰어난 성능을 보였다.
• 이 방법은 입력 데이터에서 공간 패턴이 명확하지 않은 성별 또는 연령 관련 특징에 대한 의존도를 효과적으로 줄였다.
• 가중치 업데이트의 시각화 결과는 임무 관련 가중치와 혼란 요인 관련 가중치 간에 명확한 훈련 역학적 차이가 있음을 보여주었으며, 이는 방법의 핵심 가정을 검증하였다.
• VGG19에서는 약간의 성능 저하가 있었지만, 테스트된 모든 다른 CNN 아키텍처에서 CF는 정확도를 향상시켰으며, 다양한 모델 패밀리에 걸쳐 뛰어난 내구성을 보였다.
• 딥 피처 선택을 활용한 결과, 혼란 요인 관련 픽셀은 산재해 있고 구분성이 없었으며, 이는 수동 필터링이 비효율적임을 확인했고, 자동화된 방법(예: CF)의 필요성을 강조하였다.