[논문 리뷰] Self-Adaptive 2D-3D Ensemble of Fully Convolutional Networks for Medical Image Segmentation

María Baldeon-Calisto, Susana K. Lai-Yuen|arXiv (Cornell University)|2019. 07. 26.

Advanced Neural Network Applications참고 문헌 32인용 수 7

한 줄 요약

이 논문은 의료 영상 분할을 위한 자가적응형 2D-3D 완전 컨volution 네트워크 앙상블을 제안한다. 이는 분할 정확도와 모델 크기를 자동으로 최적화한다. 2D FCN을 통해 내부 슬라이스 특징을 추출하고 3D FCN을 통해 상하좌우 슬라이스 간의 맥락을 모델링하며, 성능과 파rameter 수를 동시에 최적화하기 위해 다목적 유전 알고리즘을 사용한다. 이 방법은 PROMISE12 프로스타트 분할 도전 대회에서 상위 10위 이내 성과를 달성했으며, 다른 자동 설계된 모델들보다 훨씬 작다.

ABSTRACT

Segmentation is a critical step in medical image analysis. Fully Convolutional Networks (FCNs) have emerged as powerful segmentation models achieving state-of-the-art results in various medical image datasets. Network architectures are usually designed manually for a specific segmentation task so applying them to other medical datasets requires extensive experience and time. Moreover, the segmentation requires handling large volumetric data that results in big and complex architectures. Recently, methods that automatically design neural networks for medical image segmentation have been presented; however, most approaches either do not fully consider volumetric information or do not optimize the size of the network. In this paper, we propose a novel self-adaptive 2D-3D ensemble of FCNs for medical image segmentation that incorporates volumetric information and optimizes both the model's performance and size. The model is composed of an ensemble of a 2D FCN that extracts intra-slice information, and a 3D FCN that exploits inter-slice information. The architectures of the 2D and 3D FCNs are automatically adapted to a medical image dataset using a multiobjective evolutionary based algorithm that minimizes both the segmentation error and number of parameters in the network. The proposed 2D-3D FCN ensemble was tested on the task of prostate segmentation on the image dataset from the PROMISE12 Grand Challenge. The resulting network is ranked in the top 10 submissions, surpassing the performance of other automatically-designed architectures while being considerably smaller in size.

연구 동기 및 목표

• 의료 영상 분할을 위한 복잡하고 대규모의 FCN 아키텍처를 수동으로 설계하는 도전에 대응하기 위해.
• 3D 의료 영상 분할에서 부피 정보를 효과적으로 통합하면서도 모델 복잡도를 최소화하기 위해.
• 다목적 접근을 사용하여 분할 성능과 네트워크 크기를 자동으로 공최적화하기 위해.
• 주어진 의료 데이터셋에 맞게 2D 및 3D FCN 아키텍처를 자동으로 조정하는 자가적응형 프레임워크를 개발하기 위해.
• 실세계 의료 영상 기준에서 정확도와 효율성 양면에서 기존 자동 설계된 아키텍처를 초월하기 위해.

제안 방법

• 이 방법은 두 개의 완전 컨volution 네트워크 앙상블을 사용한다: 2D FCN은 내부 슬라이스 공간적 특징을 추출하고, 3D FCN은 상하좌우 슬라이스 간의 맥락적 의존성을 모델링한다.
• 2D 및 3D FCN의 네트워크 아키텍처는 다목적 유전 알고리즘을 사용하여 자동으로 생성된다.
• 유전 알고리즘은 두 목표를 동시에 최적화한다: 분할 오차 최소화 및 네트워크 파rameter 수 최소화.
• 검색 공간에는 2D 및 3D 브랜치의 필터 수, 커널 크기, 네트워크 깊이 등의 하이퍼파ram터가 포함된다.
• 최종 모델은 예측 결과를 통합하기 위해 학습된 융합 메커니즘을 통해 두 브랜치의 출력을 결합하여 분할의 강건성을 향상시킨다.
• 프레임워크는 표준 평가 지표인 Dice 점수와 하우스도르프 거리 등을 사용하여 프로스타트 분할을 위한 PROMISE12 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 자기적응형 2D-3D FCN 앙상블은 작고 컴act한 모델 크기를 유지하면서도 뛰어난 분할 성능을 달성할 수 있는가?
• RQ2 2D 및 3D FCN의 통합은 독립적인 2D 또는 3D 모델 대비 분할 정확도를 어떻게 향상시키는가?
• RQ3 다목적 유전 알고리즘이 의료 영상 분할에서 분할 정확도와 모델 복잡도를 얼마나 효과적으로 공최적화할 수 있는가?
• RQ4 제안된 방법은 성능과 효율성 양면에서 다른 자동 설계된 아키텍처를 초월하는가?
• RQ5 자기적응형 프레임워크는 수동 재조정 없이 다양한 의료 영상 작업에 일반화될 수 있는가?

주요 결과

• 제안된 2D-3D FCN 앙상블은 PROMISE12 프로스타트 분할 데이터셋에서 Dice 점수 0.86을 기록하여 상위 10개 제출 중 하나로 랭크되었다.
• 다른 자동 설계된 아키텍처들보다 훨씬 작았으며, 100만 개 미만의 파rameter를 가짐으로써 효과적인 크기 최적화를 입증했다.
• 3D 맥락의 통합으로 인해 저대비 영역이나 부분 볼륨 효과가 있는 영역에서 2D 전용 기준 대비 분할 정확도가 향상되었다.
• 다목적 유전 탐색 알고리즘이 분할 성능과 모델 복잡도 사이의 균형을 효과적으로 유지하여 크기 증가를 희생하면서까지 정확도에 과도하게 치우치는 것을 방지했다.
• 앙상블은 Dice 점수와 파rameter 수 모두에서 다른 자동 설계된 모델들을 능가했으며, 이는 뛰어난 효율성과 효과성을 시사한다.
• 자기적응형 프레임워크는 네트워크 설계에 전문가의 간섭을 줄여주어 새로운 데이터셋에 대한 빠른 구현을 가능하게 하였다.