[논문 리뷰] Evaluating the Robustness of Self-Supervised Learning in Medical Imaging

Fernando Navarro, Christopher Watanabe외 5명|arXiv (Cornell University)|2021. 05. 14.

COVID-19 diagnosis using AI참고 문헌 29인용 수 17

한 줄 요약

이 논문은 의료 영상에서 자기지도 학습(self-supervised learning, SSL)의 강건성과 일반화 능력을 평가하며, 청소된 데이터에서의 성능 향상이 미미함에도 불구하고, 흐림, 노이즈, 해상도 변화 등의 영상 오염 상황에서 SSL 모델이 완전히 지도 학습된 네트워크보다 뛰어난 성능을 보임을 입증한다. 주요 기여는 SSL의 진정한 이점이 청소된 데이터에서의 정확도가 아니라 강건한 특징 학습에 있음을 드러내는 데 있다.

ABSTRACT

Self-supervision has demonstrated to be an effective learning strategy when training target tasks on small annotated data-sets. While current research focuses on creating novel pretext tasks to learn meaningful and reusable representations for the target task, these efforts obtain marginal performance gains compared to fully-supervised learning. Meanwhile, little attention has been given to study the robustness of networks trained in a self-supervised manner. In this work, we demonstrate that networks trained via self-supervised learning have superior robustness and generalizability compared to fully-supervised learning in the context of medical imaging. Our experiments on pneumonia detection in X-rays and multi-organ segmentation in CT yield consistent results exposing the hidden benefits of self-supervision for learning robust feature representations.

연구 동기 및 목표

• 자기지도 학습(SSL)이 청소된 데이터에서의 정확도를 넘어서 의료 영상에서 어떤 이점을 제공하는지 조사하기.
• 임상 영상에서 흔히 발생하는 다양한 영상 오염 상황에서 SSL 모델의 강건성 평가하기.
• 다른 영상 센터나 촬영 프로토콜에서의 새로운 데이터 분포에 배포되었을 때 SSL 특징의 일반화 능력 평가하기.
• 표준 평가 지표가 청소된 데이터에만 집중함에 따라 SSL의 우수한 성능가가 가려질 수 있는지 확인하기.
• SSL이 저데이터 환경에서 강건하고 이식 가능한 표현 기반으로 기능할 수 있는지 탐색하기.

제안 방법

• 폐렴 탐지에 적합한 ResNet-18과 다중장기 분할에 적합한 U-Net을 완전히 지도 학습 및 자기지도 사전학습을 통해 훈련시켰다.
• 분포 이동 상황에서의 강건성 평가를 위해 표준 7종의 영상 오염(예: 가우시안 블러, 밝기 이동, 해상도 변화)을 적용하였다.
• 자기지도 사전학습을 위해 JigsawNet을 사전학습 과제로 사용하여, 네트워크가 조각 순서를 예측함으로써 공간적 관계를 학습하도록 유도하였다.
• 오염 상황 하에서 정확도(분류) 및 Dice 점수(분할)를 사용해 성능을 평가하였으며, SSL과 완전히 지도 학습 기반 모델 간 비교를 수행하였다.
• 도메인 일반화 테스트를 위해 LIDC-IDRI에서 훈련한 모델을 KITS2019와 같은 다른 테스트 세트에 적용하여 도메인 간 성능 측정하였다.
• 모든 오염 유형에서 강건성 향상 여부를 검증하기 위해 통계적 유의성 검정(p < 0.001)을 적용하였다.

실험 결과

연구 질문

• RQ1 자기지도 학습(SSL)이 청소된 데이터에서의 정확도를 넘어서 의료 영상에서 흔히 발생하는 영상 오염에 대해 완전히 지도 학습보다 강건성을 향상시키는가?
• RQ2 다른 도메인 또는 촬영 프로토콜의 데이터에 배포되었을 때 자기지도 학습 표현이 더 일반화 가능한가?
• RQ3 청소된 데이터에서의 성능가가 유사한데도 불구하고, 왜 자기지도 학습 모델이 분포 이동 상황에서 완전히 지도 학습 모델보다 뛰어나게 성능을 내는가?
• RQ4 어느 종류의 영상 오염이 자기지도 학습의 강건성 이점을 가장 강하게 드러내는가?
• RQ5 자기지도 학습 모델의 뛰어난 일반화 능력이 JigsawNet과 같은 사전학습 과제를 통해 공간적으로 일관되고 불변하는 특징을 학습하기 때문인가?

주요 결과

• 밝기 이동, 가우시안 블러, 해상도 변화 등의 영상 오염 상황에서 SSL은 완전히 지도 학습 모델보다 유의미하게 높은 평균 정확도를 기록하였으며(p < 0.001).
• 다중장기 분할 과제에서, SSL 모델은 KITS2019에서 0.670 ± 0.209의 Dice 점수를 기록한 반면, 완전히 지도 학습 모델은 0.486 ± 0.246의 점수를 기록하였으며, p-값은 0.0002였다.
• 가우시안 노이즈, 대비, 해상도 오염 상황에서 SSL 모델이 뛰어난 성능을 보였으며, 모든 경우에서 p < 0.001이었다.
• 정성적 분석 결과, 가우시안 노이즈 상황에서도 SSL 예측은 일관되게 유지되었고, 장기들이 정확히 분할되었지만, 완전히 지도 학습 모델은 실패하여 레이블이 뒤바뀌었다.
• SSL 모델의 강건성은 JigsawNet 사전학습 과제를 통해 공간적 관계를 학습함으로써 더 강하고 불변하는 특징 표현을 유도함으로써 기인하였다.
• 청소된 데이터에서의 성능가가 유사한데도 불구하고, SSL 모델은 도메인 간 일반화 능력에서 뚜렷한 우수성을 보였으며, 이는 의료 영상에서 SSL의 핵심 숨은 이점이 강건성에 있음을 시사한다.