[논문 리뷰] A Feature Transfer Enabled Multi-Task Deep Learning Model on Medical Imaging

Fei Gao, Hyunsoo Yoon외 2명|arXiv (Cornell University)|2019. 06. 05.

AI in cancer detection참고 문헌 56인용 수 5

한 줄 요약

이 논문은 분류, 검출, 분할과 같은 의료 영상 분석 작업 간에 조화를 이룬 특징 맵을 공유 표현으로 활용하여 조기 특징 전달을 가능하게 하는 새로운 다중 작업 딥러닝 아키텍처인 FTMTLNet을 제안한다. 공개된 유방 조영 검사 데이터셋에서 평가한 결과, 기존 모델보다 분류 및 검출 성능에서 뛰어나며, 분할 성능는 경쟁 수준을 유지하여 다중 작업 특징 지식 증류를 통한 일반화 능력 향상을 입증한다.

ABSTRACT

Object detection, segmentation and classification are three common tasks in medical image analysis. Multi-task deep learning (MTL) tackles these three tasks jointly, which provides several advantages saving computing time and resources and improving robustness against overfitting. However, existing multitask deep models start with each task as an individual task and integrate parallelly conducted tasks at the end of the architecture with one cost function. Such architecture fails to take advantage of the combined power of the features from each individual task at an early stage of the training. In this research, we propose a new architecture, FTMTLNet, an MTL enabled by feature transferring. Traditional transfer learning deals with the same or similar task from different data sources (a.k.a. domain). The underlying assumption is that the knowledge gained from source domains may help the learning task on the target domain. Our proposed FTMTLNet utilizes the different tasks from the same domain. Considering features from the tasks are different views of the domain, the combined feature maps can be well exploited using knowledge from multiple views to enhance the generalizability. To evaluate the validity of the proposed approach, FTMTLNet is compared with models from literature including 8 classification models, 4 detection models and 3 segmentation models using a public full field digital mammogram dataset for breast cancer diagnosis. Experimental results show that the proposed FTMTLNet outperforms the competing models in classification and detection and has comparable results in segmentation.

연구 동기 및 목표

• 네트워크의 후단에서 작업을 통합하는 전통적인 다중 작업 학습 모델이 조기 단계의 특징 상호보완성을 활용하지 못하는 한계를 해결하기 위해.
• 예를 들어 유방암 진단과 같은 동일 도메인 내 다양한 작업 간 지식 전달을 통해 의료 영상 분석의 강건성과 일반화 능력을 향상시키기 위해.
• 동일한 데이터 도메인에 대한 다수의 작업별 특화된 시각을 활용하여 특징 표현 학습을 향상시키는 딥러닝 프레임워크를 개발하기 위해.
• 공개된 전자 유방 조영 검사 데이터셋에서 분류, 검출, 분할 작업에 대해 최신 기술 모델들과의 비교를 통해 제안된 모델의 성능을 평가하기 위해.

제안 방법

• 분류, 검출, 분할과 같은 다양한 작업의 특징 맵을 네트워크의 후단이 아닌 초기 단계에서 통합하는 다중 작업 학습 아키텍처인 FTMTLNet을 제안한다.
• 한 작업의 특징를 다른 작업의 표현을 안내하고 풍부하게 하는 특징 전달 메커니즘을 도입하며, 각 작업을 동일 도메인의 서로 다른 시각으로 간주한다.
• 공유된 컨볼루션 기반 네트워크를 사용하고 작업별 특화된 헤드를 적용하며, 중간 레이어에서의 라테럴 연결을 통해 작업 간 특징 흐름을 가능하게 한다.
• 작업별 손실 함수를 통합한 유일한 손실 함수를 사용하지만, 표현 품질 향상을 위해 조기 특징 공유에 중점을 둔다.
• 다른 도메인 간이 아닌 동일 도메인 내 작업 간 지식 증류 원리를 적용하여 특징 일반화 능력을 향상시킨다.
• 분류, 검출, 분할에 대한 주석이 포함된 공개된 전자 유방 조영 검사 데이터셋에서 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 다양한 의료 영상 분석 작업 간에 조기 특징 전달를 적용할 경우, 기존의 후단 융합 다중 작업 학습 대비 모델 성능 향상이 이루어지는가?
• RQ2 분류, 검출, 분할 작업 간 특징 공유가 의료 영상에서 일반화 능력과 강건성에 어떤 영향을 미치는가?
• RQ3 동일한 데이터 도메인에 대한 서로 다른 작업을 통해 제공되는 보완적 시각이 특징 표현 학습에 얼마나 기여하는가?
• RQ4 제안된 특징 전달 메커니즘이 제한된 의료 데이터셋에서 과적합을 줄이고 성능을 향상시키는가?

주요 결과

• FTMTLNet은 유방 조영 검사 데이터셋에서 8개의 분류 모델보다 높은 분류 정확도를 기록하여 이 작업에서 뛰어난 성능을 입증한다.
• 검출 작업에서는 평가된 4개의 벤치마크 검출 모델을 모두 능가하는 최신 기술 성능을 달성한다.
• 분할 작업에서는 기존 최고 수준의 모델들과 비교해 유사한 성능을 기록하여, 분할 품질을 희생시키지 않은 채 강력한 일반화 능력을 보여준다.
• 추론 실험 결과, 조기 특징 전달가 후단 융합 기반 모델 대비 모델의 강건성과 수렴 속도 향상에 크게 기여함을 확인한다.
• 다양한 작업의 시각을 특징 전달을 통해 통합함으로써 과소적합이 줄어들고, 더 구분력 있고 일반화 능력이 뛰어난 특징를 도출할 수 있었다.