[논문 리뷰] From Patch to Image Segmentation using Fully Convolutional Networks -- Application to Retinal Images

Taibou Birgui Sekou, Moncef Hidane외 2명|arXiv (Cornell University)|2019. 04. 08.

Retinal Imaging and AnalysisMedicine참고 문헌 39인용 수 22

한 줄 요약

이 논문은 소규모 데이터셋에서 망막 영상 분할의 최신 기술 성능을 달성하기 위해 조각 기반 사전 훈련과 이미지 수준의 미세조정을 결합한 새로운 훈련 프레임워크를 제안한다. 먼저 조각으로 훈련한 네트워크의 특징을 이미지 수준의 네트워크로 전이함으로써, 임의의 네트워크 아키텍처를 허용하고 최소한의 데이터로 높은 성능을 달성할 수 있으며, 경량, 표준, 그리고 밀집 연결 네트워크를 사용해 네 가지 공개 망막 데이터베이스에서 검증되었다.

ABSTRACT

Deep learning based models, generally, require a large number of samples for appropriate training, a requirement that is difficult to satisfy in the medical field. This issue can usually be avoided with a proper initialization of the weights. On the task of medical image segmentation in general, two techniques are oftentimes employed to tackle the training of a deep network $f_T$. The first one consists in reusing some weights of a network $f_S$ pre-trained on a large scale database ($e.g.$ ImageNet). This procedure, also known as $transfer$ $learning$, happens to reduce the flexibility when it comes to new network design since $f_T$ is constrained to match some parts of $f_S$. The second commonly used technique consists in working on image patches to benefit from the large number of available patches. This paper brings together these two techniques and propose to train $arbitrarily$ $designed$ $networks$ that segment an image in one forward pass, with a focus on relatively small databases. An experimental work have been carried out on the tasks of retinal blood vessel segmentation and the optic disc one, using four publicly available databases. Furthermore, three types of network are considered, going from a very light weighted network to a densely connected one. The final results show the efficiency of the proposed framework along with state of the art results on all the databases.

연구 동기 및 목표

• 깊은 네트워크를 사용한 망막 영상 분할 훈련에서 부족한 레이블이 부여된 의료 영상 데이터 문제를 해결하기 위해.
• ImageNet과 같은 사전 훈련 모델에서의 가중치 재사용으로 인해 네트워크 설계가 제한되는 표준 전이 학습의 한계를 극복하기 위해.
• 임의의 네트워크 아키텍처 설계를 허용하면서도 소규모 의료 데이터셋에서 높은 성능을 유지할 수 있는 유연한 훈련 프레임워크를 개발하기 위해.
• 조각 기반 사전 훈련 후 이미지 수준의 추론을 통해 맥락 정보를 활용함으로써 분할 정확도와 강건성을 향상시키기 위해.
• 단일 순방향 전파로 전체 이미지를 처리하는 네트워크를 훈련시켜 실시간, 종단 간 분할을 가능하게 하기 위해.

제안 방법

• 프레임워크는 먼저 망막 영상에서 추출한 작은 이미지 조각에 대해 조각 간 분류 접근 방식을 사용해 완전 컨volution 네트워크(FCN)를 훈련시킨다.
• 조각에서의 사전 훈련 후, 전체 이미지 추론을 위한 새로운 더 큰 FCN 아키텍처로 학습된 특징을 전이한다.
• 이미지 수준의 네트워크는 사전 훈련된 조각 네트워크의 인코더 가중치로 초기화되어 아키텍처 제약 없이 효과적인 특징 전이가 가능하다.
• 이미지 수준의 네트워크는 교차 엔트로피 또는 딱스 손실을 사용한 표준 지도 학습을 통해 전체 크기의 이미지에서 끝에서 끝까지 미세조정된다.
• 사전 훈련과 최종 네트워크 설계를 분리함으로써 경량에서부터 밀집 연결에 이르기까지 다양한 네트워크 아키텍처를 지원한다.
• 메모리 사용량을 줄이고 수치적 안정성을 향상시키기 위해 훈련 중에 크기 조정 단계를 적용하며, 성능에 미치는 영향은 최소한이다.

실험 결과

연구 질문

• RQ1 제한된 훈련 데이터로 조각 기반 사전 훈련 전략과 이미지 수준의 미세조정을 조합하면 망막 영상 분할에서 최신 기술 성능을 달성할 수 있는가?
• RQ2 제안된 프레임워크는 사전 훈련된 ImageNet 가중치에 제약을 받지 않고 임의로 설계된 FCN 아키텍처를 사용할 수 있는가?
• RQ3 소규모 망막 영상 데이터베이스에서 이 프레임워크의 성능은 사전 훈련 없이 훈련하거나 표준 전이 학습과 비교해 어떻게 되는가?
• RQ4 조각 기반 추론과 비교해 프레임워크는 분할 맵에서 맥락 정보를 얼마나 잘 유지하고 경계 아티팩트를 줄이는가?
• RQ5 이 프레임워크는 다양한 망막 영상 작업, 예를 들어 혈관 및 시신경두 분할을 여러 공개 데이터셋에서 효과적으로 적용할 수 있는가?

주요 결과

• 제안된 프레임워크는 네 가지 공개 망막 영상 데이터베이스(DRIVE, STARE, CHASE_DB1, IDRiD)에서 최신 기술 성능을 달성했다.
• 조각 기반 집계 방식과 비교해 분할 추론 시간을 크게 단축시켰으며, DRIVE 데이터셋에서 밀집 네트워크를 사용할 경우 평균 0.24초로 이미지 수준의 추론을 수행했다.
• 고정된 전이 후의 미세조정이 분할 품질을 향상시킴을 입증했으며, 정성적 결과에서 거짓 양성 수가 감소하고 경계 예측이 더 강화된 것으로 나타났다.
• 메모리 효율성 향상을 위해 이미지 크기 조정을 적용해도 높은 성능를 유지하여 전처리 단계에 대한 강건성을 입증했다.
• 특히 낮은 데이터 환경에서 효과적인 조각 수준의 학습에서 유래한 특징 전이 덕분에, 사전 훈련 없이 훈련하거나 표준 전이 학습보다도 성능이 뛰어났다.
• 소스 코드는 https://github.com/Taib/patch2image 에 공개되어 있어 재현성과 향후 연구를 가능하게 했다.