[논문 리뷰] U-Net: Convolutional Networks for Biomedical Image Segmentation

Olaf Ronneberger|arXiv (Cornell University)|2015. 05. 18.

Advanced Neural Network Applications참고 문헌 13인용 수 102

한 줄 요약

이 논문은 매우 제한된 애너테이션된 훈련 데이터에서 정밀한 생물의학 영상 분할을 가능하게 하는 U-형태의 인코더-디코더 구조를 가진 완전 컨volution 신경망 아키텍처인 U-Net을 소개한다. 탄성 변형을 통한 광범위한 데이터 증강과, 겹치는 세포를 분리하기 위한 가중치가 부여된 손실 함수를 결합함으로써, U-Net은 전자현미경 신경세포 분할 및 광학현미경 세포 추적 과제에서 최신 기술 수준의 성능을 달성한다. 이는 이전 방법들보다 뚜렷한 성능 향상을 보이며, GPU에서 512×512 이미지당 1초 이내로 실행된다.

ABSTRACT

There is large consent that successful training of deep networks requires many thousand annotated training samples. In this paper, we present a network and training strategy that relies on the strong use of data augmentation to use the available annotated samples more efficiently. The architecture consists of a contracting path to capture context and a symmetric expanding path that enables precise localization. We show that such a network can be trained end-to-end from very few images and outperforms the prior best method (a sliding-window convolutional network) on the ISBI challenge for segmentation of neuronal structures in electron microscopic stacks. Using the same network trained on transmitted light microscopy images (phase contrast and DIC) we won the ISBI cell tracking challenge 2015 in these categories by a large margin. Moreover, the network is fast. Segmentation of a 512x512 image takes less than a second on a recent GPU. The full implementation (based on Caffe) and the trained networks are available at http://lmb.informatik.uni-freiburg.de/people/ronneber/u-net .

연구 동기 및 목표

• 최소한의 애너테이션된 훈련 데이터로도 고정밀도의 의미 분할을 가능하게 하는 딥 러닝 아키텍처를 개발하는 것.
• 슬라이딩 윈도우 접근 방식의 한계를 극복하는 것 — 이는 느리고 국소화-맥락 간의 상충 관계를 야기한다.
• 특히 탄성 변형을 활용한 공격적인 데이터 증강을 통해 소규모 데이터셋에서의 엔드 투 엔드 훈련을 가능하게 하는 것.
• 경계 영역에 더 높은 강조를 부여하는 가중치가 부여된 손실 함수를 통해 겹치는 세포의 분할을 향상시키는 것.
• 겹침 틈새 전략을 사용하여 임의의 크기의 영상을 원활하게 분할할 수 있도록 모델을 설계하는 것.

제안 방법

• U-Net 아키텍처는 반복적인 컨볼루션과 맥스 풀링을 거치는 수축(에코더) 경로와, 전치 컨볼루션(디컨볼루션)을 사용한 업샘플링을 수행하는 대칭적인 확장(디코더) 경로로 구성된다.
• 스킵 연결을 사용하여 수축 경로의 고해상도 특징을 확장 경로의 업샘플링된 특징과 연결함으로써, 정밀한 국소화를 위한 공간 정보를 유지한다.
• 모델은 유일한 컨볼루션만을 사용하고 완전히 연결된 레이어가 없으므로, 출력 분할 맵이 입력과 공간적으로 정렬되어 있으며, 전체 해상도 추론을 지원한다.
• 겹침 틈새 전략을 통해 큰 이미지를 처리하고 예측을 융합함으로써 큰 이미지의 분할을 가능하게 하며, 부족한 맥락은 반사에 의해 외삽된다.
• 훈련 중에 탄성 변형을 통한 광범위한 데이터 증강을 적용하여 실제 조직의 변형을 시뮬레이션하고 일반화 성능를 향상시키며, 추가적인 애너테이션 데이터가 필요하지 않다.
• 가중치가 부여된 크로스 엔트로피 손실 함수를 사용하여, 겹치는 세포 사이의 배경 픽셀에 더 높은 손실 가중치를 할당함으로써 분리 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 매우 적은 수의 애너테이션된 이미지로 훈련된 완전 컨볼루션 네트워크가 생물의학 영상 분할에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 의미 분할에서 맥락 이해와 국소화 정밀도 간의 상충 관계를 어떻게 효과적으로 해결할 수 있는가?
• RQ3 탄성 변형을 통한 데이터 증강이 낮은 데이터 환경에서 모델의 일반화 성능를 얼마나 향상시킬 수 있는가?
• RQ4 동일한 아키텍처가 전자현미경과 단계 대비/DIC 광학현미경과 같은 다양한 생물의학 영상 모odalities에 일반화될 수 있는가?
• RQ5 스킵 연결과 가중치가 부여된 손실의 조합이 분할 과제에서 겹치는 세포를 분리하는 과제를 얼마나 효과적으로 해결하는가?

주요 결과

• ISBI EM 분할 과제에서 U-Net은 왜곡 오차 0.000353을 기록하여 이전 최고 성능 방법(0.000420)을 크게 앞서며 10개의 제출 중 1위를 차지했다.
• EM 과제에서 U-Net은 랜드 오차 0.0382를 기록하여 두 번째로 좋은 방법보다 넓은 격차로 앞서며, 일부 지표에서는 인간 애너테이션 결과를 초월했다.
• ISBI 2015 세포 추적 과제에서 U-Net은 PhC-U373 데이터셋에서 평균 교차율(IOU) 92.03%를 기록하여 두 번째로 좋은 방법(83%)을 크게 앞섰다.
• DIC-HeLa 데이터셋에서 U-Net은 IOU 77.56%를 기록하여 두 번째로 좋은 방법(46%)을 크게 앞섰다.
• 최근 GPU에서 512×512 이미지를 1초 이내로 분할하여 높은 추론 속도를 입증했다.
• 전체 Caffe 기반 구현 코드와 훈련된 모델은 공개되어 있어 생물의학 영상 과제 전반에서 널리 재사용 및 응용이 가능하다.