[논문 리뷰] Surrogate Supervision for Medical Image Analysis: Effective Deep Learning From Limited Quantities of Labeled Data

Nima Tajbakhsh, Yufei Hu외 7명|arXiv (Cornell University)|2019. 01. 25.

Radiomics and Machine Learning in Medical Imaging참고 문헌 17인용 수 12

한 줄 요약

이 논문은 라벨이 부족한 의료 영상 분석을 위해, 회전, 재구성 또는 색상화를 통해 인위적 라벨을 부여함으로써 풍부한 라벨이 없는 데이터를 활용해 딥 네트워크를 사전 훈련하는 방법으로 서피지에이트 감독(surrogate supervision)을 제안한다. 이는 라벨이 적은 데이터셋—특히 3D 의료 영상에서—에서 성능을 크게 향상시키며, 무작위 초기화나 자연 이미지에서의 전이 학습보다 우수한 성능을 보인다.

ABSTRACT

We investigate the effectiveness of a simple solution to the common problem of deep learning in medical image analysis with limited quantities of labeled training data. The underlying idea is to assign artificial labels to abundantly available unlabeled medical images and, through a process known as surrogate supervision, pre-train a deep neural network model for the target medical image analysis task lacking sufficient labeled training data. In particular, we employ 3 surrogate supervision schemes, namely rotation, reconstruction, and colorization, in 4 different medical imaging applications representing classification and segmentation for both 2D and 3D medical images. 3 key findings emerge from our research: 1) pre-training with surrogate supervision is effective for small training sets; 2) deep models trained from initial weights pre-trained through surrogate supervision outperform the same models when trained from scratch, suggesting that pre-training with surrogate supervision should be considered prior to training any deep 3D models; 3) pre-training models in the medical domain with surrogate supervision is more effective than transfer learning from an unrelated domain (e.g., natural images), indicating the practical value of abundant unlabeled medical image data.

연구 동기 및 목표

• 3D 영상에서 전이 학습이 효과적이지 않은 바쁜 의료 영상 분석에서 라벨이 제한된 문제를 해결하기 위해.
• 의료 분야에서 서피지에이트 감독을 통한 사전 훈련이 무작위 초기화 또는 자연 이미지에서의 전이 학습보다 모델 성능을 향상시키는지 조사하기 위해.
• 분류 및 분할과 같은 다양한 의료 영상 작업—2D 및 3D 모odalities 모두 포함—에서 서피지에이트 감독의 효과를 평가하기 위해.
• 라벨이 부족한 상황에서 서피지에이트 감독이 전이 학습보다 더 나은 가중치 초기화를 제공하는지 확인하기 위해.

제안 방법

• 무작위로 선택된 의료 영상에서 유도된 인위적 라벨을 사용해 딥 네트워크를 사전 훈련한다. 세 가지 서피지에이트 감독 기반 방법—회전 예측, 이미지 재구성, 색상화—를 적용한다.
• 무라벨 영상에 서피지에이트 라벨을 할당한다—예를 들어, 회전 각도 예측, 손상된 영상에서 원본 영상 재구성, Grayscale 입력에서 색상 예측.
• 라벨이 있는 데이터의 일부(10%, 25%, 50%, 100%)만 사용하여 목표 의료 작업에 대해 모델을 훈련시키며, 서피지에이트 감독 사전 훈련에서 유도된 가중치로 초기화한다.
• 무작위 초기화로 훈련된 모델과 ImageNet 사전 훈련 가중치를 미세조정한 모델과의 성능을 비교한다.
• 표준 평가 지표 사용: 결절 탐지에 FROC, 분할에 Dice 점수, 분류에 Kappa 통계량.
• 학습, 검증, 테스트 세트가 서로 겹치지 않도록 데이터 분할을 수행하며, 서피지에이트 사전 훈련을 위해 라벨이 있는 데이터와 없는 데이터를 통합하지만, 무라벨 세트에서 목표 작업의 라벨는 제거한다.

실험 결과

연구 질문

• RQ1 라벨이 제한된 의료 영상 분석에서 서피지에이트 감독이 딥 러닝 성능을 향상시키는가?
• RQ2 의료 분야에서 서피지에이트 감독을 통한 사전 훈련이 ImageNet에서의 전이 학습보다 더 효과적인가?
• RQ3 라벨이 있는 학습 데이터셋 크기가 증가함에 따라 서피지에이트 감독의 영향은 어떻게 변화하는가?
• RQ4 서피지에이트 감독은 3D 의료 영상 분석에서 처음부터 학습하는 것과의 타당한 대안이 될 수 있는가?

주요 결과

• 서피지에이트 감독을 통한 사전 훈련은 무작위 초기화보다 일관되게 성능을 향상시키며, 특히 라벨이 10% 또는 25%일 경우에 두드러진다.
• 폐엽 분할과 같은 3D 의료 영상 작업에서는 서피지에이트 감독이 처음부터 학습하는 것보다 유의미하게 뛰어나며, 일반적으로 처음부터 학습하는 3D 아키텍처에 있어 그 가치를 입증한다.
• 의료 분야에서의 서피지에이트 감독은 ImageNet에서의 전이 학습보다 더 효과적이며, 자연 이미지와 상당히 다름을 보이는 망막 또는 CT 영상과 같은 작업에서 특히 그렇다.
• 라벨이 있는 학습 데이터셋 크기가 커질수록 서피지에이트 감독의 성능 향상 효과가 감소함을 시사하며, 이는 주로 소규모 데이터 시나리오에서 가장 유용하다는 것을 의미한다.
• 피부 분할 작업은 도메인이 자연 이미지에 더 가까워서 ImageNet 전이 학습이 여전히 서피지에이트 감독을 능가하지만, 서피지에이트 사전 훈련은 여전히 무작위 초기화보다 뛰어나다.
• 결과적으로 서피지에이트 감독은 랜덤 가중치나 관련 없는 도메인의 사전 훈련보다 더 효과적인 가중치 초기화를 제공하며, 특히 데이터가 적은 상황에서 그 효과가 두드러진다.