[논문 리뷰] Self-supervised Representation Learning for Ultrasound Video

Jianbo Jiao, Richard Droste외 3명|arXiv (Cornell University)|2020. 02. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 9인용 수 6

한 줄 요약

이 논문은 인간의 레이블이 전혀 필요 없는, 태반 초음파 영상에 대한 자기지도 학습 표현 학습 방법을 제안한다. 시간적 순서 복구와 기하학적 변환 예측을 사전 과제로 활용하여 해부학적 인식을 갖춘 표현을 학습한다. 이 방법은 표준 평면 탐지 및 주목도 예측과 같은 후행 작업에서 강력한 전이 성능을 보이며, 무작위 초기화 및 SonoNet 기반 초기화보다 약간 떨어지지만 감독 학습 기반 베이스라인에 근접한 성능을 기록한다.

ABSTRACT

Recent advances in deep learning have achieved promising performance for medical image analysis, while in most cases ground-truth annotations from human experts are necessary to train the deep model. In practice, such annotations are expensive to collect and can be scarce for medical imaging applications. Therefore, there is significant interest in learning representations from unlabelled raw data. In this paper, we propose a self-supervised learning approach to learn meaningful and transferable representations from medical imaging video without any type of human annotation. We assume that in order to learn such a representation, the model should identify anatomical structures from the unlabelled data. Therefore we force the model to address anatomy-aware tasks with free supervision from the data itself. Specifically, the model is designed to correct the order of a reshuffled video clip and at the same time predict the geometric transformation applied to the video clip. Experiments on fetal ultrasound video show that the proposed approach can effectively learn meaningful and strong representations, which transfer well to downstream tasks like standard plane detection and saliency prediction.

연구 동기 및 목표

• 의료 초음파 영상 분석에서 제한적이고 비용이 많이 드는 인간 레이블이 부족한 문제를 해결하기 위해.
• 인간 레이블이 없는 원시적인, 비라벨링된 태반 초음파 영상 데이터로부터 의미 있는, 전이 가능한 표현을 학습하기 위해.
• 데이터 기반 사전 과제를 통해 모델이 해부학적 구조 인식을 암묵적으로 학습하도록 유도하는 자기지도 학습 프레임워크를 개발하기 위해.
• 학습된 표현의 효과성을 실제 후행 작업, 예를 들어 표준 평면 탐지 및 주목도 예측과 같은 작업에서 평가하기 위해.

제안 방법

• 모델은 시간적으로 뒤섞인 영상 클립에서 훈련되며, 원래의 프레임 순서를 복원하는 것을 사전 과제로 요구한다.
• 두 번째 사전 과제는 영상 클립에 적용된 기하학적 변환(예: 회전, 스케일링)을 예측하도록 요구한다.
• 양면 네트워크 아키텍처를 사용하여 두 과제를 함께 최적화함으로써 통합적 추론과 향상된 안정성을 달성한다.
• 표현 학습은 CNN 백본을 사용하며, 공유 인코더에서 추출된 특징을 후행 미세조정에 활용한다.
• 단색 초음파 영상에 적용되지 않는 눈동자 추적 또는 색상화와 같은 외부 감독에 의존하지 않는다.
• 최종 표현은 분류(표준 평면 탐지) 및 회귀(주목도 예측) 작업에서 미세조정을 통해 평가된다.

실험 결과

연구 질문

• RQ1 자기지도 표현 학습이 비라벨링된 태반 초음파 영상에서 해부학적 인식 특징을 효과적으로 포착할 수 있는가?
• RQ2 시간적 순서 복구와 기하학적 변환 예측을 함께 학습하는 것이 단일 과제 접근 방식보다 더 강력하고 전이 가능한 표현을 만들어낼 수 있는가?
• RQ3 제한된 레이블이 있는 후행 작업에서 제안된 방법이 감독 미리 학습(SonoNet 등)과 무작위 초기화보다 어떻게 비교되는가?
• RQ4 개별 구성 요소(순서 복구 대비 변환 예측)가 최종 성능에 얼마나 기여하는가?

주요 결과

• 제안된 자기지도 방법은 표준 평면 탐지에서 평균 F1 스코어 75.7%를 기록하여, 개별 사전 과제 및 기준 방법보다 뛰어난 성능을 보였다.
• 주목도 예측에서는 Ours-Siam 모델이 CC 0.22 및 NSS 2.72를 기록하여, 무작위 초기화(지표: CC 0.12, NSS 1.47)보다 유의미하게 뛰어났다.
• 양면 네트워크 아키텍처를 통한 통합 학습은 분리된 변형 대비 표준편차를 감소시키고 안정성을 향상시켰다.
• 제거 분석을 통해 두 사전 과제를 함께 사용할 경우 하나의 과제만 사용할 경우보다 더 우수한 성능을 얻는 것으로 확인되었다.
• 감독 기반 베이스라인에 비해 작은 격차로 성능을 달성하여, 인간의 레이블이 전혀 없음에도 불구하고 강력한 전이 가능성임을 입증했다.
• 정성적 결과에서는 일관되고 정확한 주목도 예측이 이루어졌으며, AUC 및 CC와 같은 주요 지표에서 SonoNet과 비교해도 유사하거나 더 우수한 성능을 보였다.