[논문 리뷰] Self-Supervised Learning for Segmentation

Abhinav Dhere, Jayanthi Sivaswamy|arXiv (Cornell University)|2021. 01. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 15인용 수 7

한 줄 요약

이 논문은 복부 CT 영상에서 신장 분할을 위해 해부학적 비대칭성을 활용한 자기지도 학습 프록시 작업을 제안한다. 시아모이드 컨volution 네트워크를 사용하여 좌·우 신장 영역을 분류한다. 추가 애너테이션 없이 이 작업으로 사전 훈련을 수행함으로써, 훈련을 처음부터 시작하는 것보다 더 빠른 수렴 속도와 향상된 분할 성능(디스크 스코어 0.931 대 0.907)을 달성한다. 이는 데이터 증강 없이도 훈련 에포크 수의 1/5로도 달성 가능하다.

ABSTRACT

Self-supervised learning is emerging as an effective substitute for transfer learning from large datasets. In this work, we use kidney segmentation to explore this idea. The anatomical asymmetry of kidneys is leveraged to define an effective proxy task for kidney segmentation via self-supervised learning. A siamese convolutional neural network (CNN) is used to classify a given pair of kidney sections from CT volumes as being kidneys of the same or different sides. This knowledge is then transferred for the segmentation of kidneys using another deep CNN using one branch of the siamese CNN as the encoder for the segmentation network. Evaluation results on a publicly available dataset containing computed tomography (CT) scans of the abdominal region shows that a boost in performance and fast convergence can be had relative to a network trained conventionally from scratch. This is notable given that no additional data/expensive annotations or augmentation were used in training.

연구 동기 및 목표

• 신장 분할에서 애너테이션된 의료 영상 데이터가 제한적인 문제를 해결하기 위해.
• 의료 영상 분할에서 전이 학습의 대안으로 자기지도 학습을 탐색하기 위해.
• 효과적인 사전 훈련을 위해 고유한 해부학적 비대칭성을 활용하는 프록시 작업을 설계하기 위해.
• 자기지도 학습이 추가 애너테이션 또는 데이터 증강 없이도 분할 성능 향상과 수렴 속도 향상에 기여하는지 평가하기 위해.

제안 방법

• 시아모이드 컨volution 네트워크(CNN)는 CT 볼륨에서 공간적으로 잘린 64×112×112 패치들만을 사용하여 좌·우 신장 영역 쌍을 동일한 쪽인지 다른 쪽인지 분류하도록 훈련된다.
• 프록시 작업은 해부학적 비대칭성—좌·우 신장 간 크기, 형태, 위치의 차이—을 활용하여 네트워크가 공간적 위치에 의존하지 않고 구조적 의미를 학습하도록 유도한다.
• 대비 손실(contrastive loss)을 사용하여 동일 쪽 쌍의 임베딩 간 L2 거리를 최소화하고, 반대 쪽 쌍의 경우 최대화하며, 마진은 1로 설정한다.
• 사전 훈련 후 시아모이드 네트워크의 한 분기만 분할 네트워크의 인코더로 사용하고, 디코더는 무작위로 초기화한다.
• 분할 네트워크는 소프트 디스크 손실(0.4)과 이진 교차 엔트로피 손실(0.6)의 가중 조합을 사용하여 훈련된다.
• 데이터 증강 없이 원본 데이터셋만 사용하며, 입력 볼륨은 크기가 변할 수 있도록 16의 배수로 0으로 패딩한다.

실험 결과

연구 질문

• RQ1 해부학적 비대칭성을 기반으로 한 자기지도 프록시 작업이 복부 CT 영상에서 신장 분할 성능을 향상시키는가?
• RQ2 자기지도 사전 훈련이 처음부터 훈련하는 것보다 수렴 속도가 더 빠른가?
• RQ3 추가 애너테이션 데이터나 데이터 증강 없이도 자기지도 학습이 더 높은 성능을 달성할 수 있는가?
• RQ4 대비 손실을 사용한 시아모이드 네트워크가 분할을 위한 구분 가능한 신장 표현을 얼마나 효과적으로 학습하는가?

주요 결과

• 자기지도 학습을 적용한 모델(MwS)은 검증 디스크 스코어 0.931을 기록했고, 처음부터 훈련한 모델(MwoS)은 0.907을 기록하여 성능 향상이 뚜렷하다.
• MwS 모델은 더 이른 에포크 수에서 더 높은 디스크 스코어를 달성하여 수렴 속도가 더 빠르다는 점이 에포크 수에 따른 진행 곡선에서 확인되었다.
• 테스트 세트(90개의 애너테이션되지 않은 케이스)에서 MwS는 디스크 스코어 0.880을 기록했고, MwoS는 0.853을 기록하여 일관된 성능 향상을 보였다.
• 헤이즐도르프 거리(HD)는 MwoS의 0.303에서 MwS의 0.291로 감소하여 경계 정렬이 더 우수함을 나타낸다.
• 경계 길이 차이(BL)는 MwoS의 14.0%에서 MwS의 12.9%로 감소하여 더 정확한 분할 경계를 나타낸다.
• 훈련 에포크 수의 1/5(200 대 1000)이며 데이터 증강 없이도 MwS는 6중 데이터 증강과 1000 에포크를 사용한 최신 기술보다 성능이 뛰어나다.