[논문 리뷰] Multi-task Dictionary Learning based Convolutional Neural Network for Computer aided Diagnosis with Longitudinal Images

Jie Zhang, Qingyang Li외 3명|arXiv (Cornell University)|2017. 08. 31.

Brain Tumor Detection and Classification참고 문헌 25인용 수 12

한 줄 요약

이 논문은 ImageNet에서의 전이 학습을 활용하고, 다중 작업 확률적 좌표 부호화(MSCC)라는 새로운 비지도 사전학습 방법을 도입한 다중 작업 사전학습 기반의 CNN 프레임워크를 제안한다. 이는 여러 시간 포인트와 관심 영역(ROIs)에서 종단적 뇌 MRI 특징을 동시에 모델링한다. 제안된 방법은 7개의 최첨단 기법보다도 향후 알츠하이머병 임상 점수(MMSE 및 ADAS-Cog) 예측 성능이 뛰어나며, 특히 후기 시간 포인트와 ADAS-Cog 점수에서 정확도 향상이 두드러진다.

ABSTRACT

Algorithmic image-based diagnosis and prognosis of neurodegenerative diseases on longitudinal data has drawn great interest from computer vision researchers. The current state-of-the-art models for many image classification tasks are based on the Convolutional Neural Networks (CNN). However, a key challenge in applying CNN to biological problems is that the available labeled training samples are very limited. Another issue for CNN to be applied in computer aided diagnosis applications is that to achieve better diagnosis and prognosis accuracy, one usually has to deal with the longitudinal dataset, i.e., the dataset of images scanned at different time points. Here we argue that an enhanced CNN model with transfer learning for the joint analysis of tasks from multiple time points or regions of interests may have a potential to improve the accuracy of computer aided diagnosis. To reach this goal, we innovate a CNN based deep learning multi-task dictionary learning framework to address the above challenges. Firstly, we pre-train CNN on the ImageNet dataset and transfer the knowledge from the pre-trained model to the medical imaging progression representation, generating the features for different tasks. Then, we propose a novel unsupervised learning method, termed Multi-task Stochastic Coordinate Coding (MSCC), for learning different tasks by using shared and individual dictionaries and generating the sparse features required to predict the future cognitive clinical scores. We apply our new model in a publicly available neuroimaging cohort to predict clinical measures with two different feature sets and compare them with seven other state-of-the-art methods. The experimental results show our proposed method achieved superior results.

연구 동기 및 목표

• ImageNet에서의 전이 학습을 활용하여 의료 영상 분석에서 레이블이 부족한 데이터 문제를 해결한다.
• 종단적 MRI 데이터를 이용해 향후 인지 점수(MMSE 및 ADAS-Cog) 예측 정확도를 향상시킨다.
• 다양한 시간 포인트와 뇌 ROIs(해마, 측두실, 피질 두께)의 특징을 동시에 모델링하여 질병 진행 동역학을 포착한다.
• 시간 포인트와 ROIs 간의 공통적이고 작업별 특수한 특징을 모두 포착하는 희박한 공유-개별 사전학습 기반의 사전학습 프레임워크를 개발한다.
• 사전 학습된 CNN의 깊이 있는 특징 표현과 다중 작업 학습을 통합하여 모델의 강건성과 일반화 능력을 향상시킨다.

제안 방법

• ImageNet에서 사전 학습된 깊은 CNN을 사용하여 ADNI 코hort의 의료 영상 데이터에 대해 미세조정(fine-tune)하여 특징 추출기로 활용한다.
• 세 가지 시간 포인트에서 다양한 ROIs(해마, 측두실, 피질 두께)에서 50×50 크기의 영상 패치를 추출한다.
• 다중 작업 확률적 좌표 부호화(MSCC)를 제안한다. 이는 다중 작업의 공동 모델링을 위해 사전학습 사전을 공유 및 개인용으로 분할하는 비지도 사전학습 방법이다.
• MSCC를 사용한 희박한 부호화를 통해 각 시간 포인트와 ROI에 대해 압축되고 구분력 있는 특징을 생성하여 희박성과 해석 가능성 증진.
• 학습된 희박한 특징에 대해 Lasso 회귀를 적용하여 향후 MMSE 및 ADAS-Cog 점수를 예측한다.
• 다양한 ROI와 시간 포인트의 특징을 통합하여 단일 다중 작업 학습 프레임워크를 구성함으로써 예측 성능 향상.

실험 결과

연구 질문

• RQ1 ImageNet에서의 전이 학습이 종단적 알츠하이머병 연구에서 자원이 제한된 의료 영상 분류 작업의 특징 표현을 향상시키는가?
• RQ2 다양한 시간 포인트와 뇌 ROIs를 동시에 모델링하는 것이 단일 시간 포인트 또는 단일 ROI 접근 방식에 비해 향후 인지 점수 예측 정확도를 어떻게 향상시키는가?
• RQ3 공유 및 개인 사전를 분리하는 제안된 MSCC 알고리즘이 종단적 뇌 영상 데이터의 다중 작업 학습에서 성능 향상에 얼마나 기여하는가?
• RQ4 MCI, AD, CN 환자 데이터를 함께 통합하면, 특히 후기 시간 포인트에서 샘플 수가 적은 MCI 환자에 대해 예측 성능이 향상되는가?
• RQ5 제안된 방법이 MMSE 및 ADAS-Cog 점수 예측에서 6개월, 12개월, 24개월 후 추적 시 7개의 최첨단 기법과 비교하여 정량적으로 어떻게 성능을 냈는가?

주요 결과

• 제안된 CNN-MSCC 방법은 24개월 후 MMSE(0.837 ± 0.045) 및 ADAS-Cog(0.837 ± 0.045) 예측에서 가장 높은 R² 값을 기록하여 모든 7개의 기준 기법을 압도했다.
• 특히 후기 시간 포인트(12- 및 24개월 예측)에서 뚜렷한 향상이 관찰되었으며, ADAS-Cog 예측에서는 Lasso 및 Ridge 기준 기법 대비 예측 오차가 최대 1.5점까지 감소했다.
• MCI 전용 데이터셋에서, AD 및 CN 환자 데이터를 포함한 훈련 데이터를 사용할 경우 성능 향상이 관찰되어 다양한 환자군의 통합이 모델의 일반화 능력과 예측력을 향상시킨다는 것을 시사한다.
• MSCC-R 변형은 24개월 후 ADAS-Cog 예측에서 최고의 R²(0.837 ± 0.045)를 기록하여 공유-개별 사전 분해의 효과를 입증했다.
• 자원이 부족한 데이터 상황에서도 강건성을 유지하여, 일반적으로 정확도가 저하되는 후기 시간 포인트에서 일관된 성능 향상을 보였다.
• 공유 및 개인 사전를 모두 포함한 다중 작업 학습은 공유 사전 또는 개인 사전만 사용하는 모델보다 더 안정적이고 정확한 예측을 이끌어냈다.