[논문 리뷰] Deep feature transfer between localization and segmentation tasks

Szu-Yeu Hu, Andrew Beers외 9명|arXiv (Cornell University)|2018. 11. 06.

Advanced Neural Network Applications참고 문헌 8인용 수 4

한 줄 요약

이 논문은 U-net 기반의 망막 녹내장판 분할을 위한 이단계 미사전학습 방법을 제안한다. 먼저 인코더를 중심점 예측을 위한 국소화 네트워크로 훈련한 후, 분할을 위한 미세조정을 수행한다. 국소화 과정에서 학습된 의미적 특징을 전이함으로써, 분할 마스크의 레이블 수를 크게 줄이고도 성능을 햖थ한다. 평균 Dice 계수 0.88을 달성하며, 레이블링 부담을 감소시켰다.

ABSTRACT

In this paper, we propose a new pre-training scheme for U-net based image segmentation. We first train the encoding arm as a localization network to predict the center of the target, before extending it into a U-net architecture for segmentation. We apply our proposed method to the problem of segmenting the optic disc from fundus photographs. Our work shows that the features learned by encoding arm can be transferred to the segmentation network to reduce the annotation burden. We propose that an approach could have broad utility for medical image segmentation, and alleviate the burden of delineating complex structures by pre-training on annotations that are much easier to acquire.

연구 동기 및 목표

• 더 쉽게 레이블링할 수 있는 국소화 데이터를 활용하여 의료 영상 분할의 레이블링 부담을 줄이기 위해.
• 국소화 작업에서 학습된 특징이 U-net 아키텍처에서 분할 성능 향상에 기여하는지 조사하기 위해.
• 망막 후면도 영상에서 분할을 위한 미세조정 이전에 국소화 작업에 대해 미사전학습하는 것이 효과적인지 평가하기 위해.
• 다양한 데이터 가용성 조건에서, 미사전학습된 모델과 무작위 초기화된 U-net 간의 성능을 비교하기 위해.
• 이 방법이 복잡한 해부학적 구조를 가진 다른 의료 영상 분할 작업으로 일반화 가능한지 탐색하기 위해.

제안 방법

• U-net의 인코딩 부문을 먼저 회귀 네트워크로 훈련하여, 평균 제곱오차 손실을 사용해 망막판 중심의 (x,y) 좌표를 예측한다.
• 수렴한 후, 인코더 가중치는 고정하고 디코더를 추가하여 완전한 U-net을 구성한다.
• 이분 마스크 레이블을 사용하여 음의 로그 소프트 Dice 손실 함수와 Adam 최적화를 적용해 분할 네트워크를 훈련한다.
• 업샘플링 과정에서 공간적 세부 정보를 유지하기 위해 인코더와 디코더 특징 간에 스킵 연결을 추가한다.
• 과적합을 방지하기 위해 3×3 컨볼루션, 배치 정규화, ReLU 활성화 함수, 최대 풀링, 드롭아웃을 사용한다.
• 이중 단계 훈련 전략을 적용한다: 먼저 국소화, 그 다음 공유된 인코더 특징을 사용한 분할

실험 결과

연구 질문

• RQ1 간단한 국소화 작업에서 학습된 특징이 의료 영상 분할 성능 향상에 기여할 수 있는가?
• RQ2 국소화 데이터에 대한 미사전학습이 분할 레이블이 필요한 수를 줄일 수 있는가?
• RQ3 저자료 환경에서 국소화 미사전학습된 U-net의 성능은 무작위 초기화된 U-net보다 어떻게 비교되는가?
• RQ4 형상, 텍스처, 경계 특성과 같은 의미적 특징이 국소화에서 분할로 얼마나 잘 전이되는가?
• RQ5 이 방법은 복잡한 해부학적 구조를 가진 다른 의료 영상 분할 작업으로 일반화 가능한가?

주요 결과

• 제안된 방법은 분할 작업에서 5겹 교차검증을 통해 평균 Dice 계수 0.88(표준편차 0.1)을 달성했다.
• 미사전학습된 모델은 무작위 초기화된 U-net(평균 Dice 계수 0.84, 표준편차 0.2)보다 성능이 뛰어났다.
• 학습 데이터의 10%만으로도, 미사전학습된 모델은 기준 모델보다 유의미하게 높은 Dice 계수를 기록했다(p < 3.97×10⁻¹²).
• 두 모델 간 성능 격차는 자료가 적을수록 두드러져, 더 적은 분할 마스크 레이블로도 더 높은 내구성을 확보함을 보여주었다.
• 모든 테스트된 데이터 비율에서 대응 t-검정 결과 통계적으로 유의미한 차이(p < 0.05)가 확인되어, 미사전학습의 이점이 입증되었다.
• 국소화 네트워크는 검증 세트에서 평균 제곱오차 132.16, 테스트 세트에서 206.15를 기록했다.