[논문 리뷰] Globally Optimal Segmentation of Mutually Interacting Surfaces using Deep Learning

Hui Xie, Zhe Pan외 6명|arXiv (Cornell University)|2020. 07. 02.

Anomaly Detection Techniques and Applications참고 문헌 24인용 수 4

한 줄 요약

이 논문은 이중 최적화 방법(Primal-Dual Interior Point Method, IPM)을 사용하여 그래프 기반 최적 표면 분할을 종단 간 전이 가능한 최적화와 통합하는 딥러닝 프레임워크를 제안한다. U-Net 기반 아키텍처를 통해 표면 비용 함수를 매개변수화하고 이를 학습시킴으로써, OCT 및 IVUS 영상에서 상호작용하는 다수의 표면에 대해 전역 최적의 분할을 가능하게 한다. 표면 상호작용을 명시적으로 모델링하고 IPM 레이어를 통한 효율적인 역전파를 통해 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Segmentation of multiple surfaces in medical images is a challenging problem, further complicated by the frequent presence of weak boundary and mutual influence between adjacent objects. The traditional graph-based optimal surface segmentation method has proven its effectiveness with its ability of capturing various surface priors in a uniform graph model. However, its efficacy heavily relies on handcrafted features that are used to define the surface cost for the "goodness" of a surface. Recently, deep learning (DL) is emerging as powerful tools for medical image segmentation thanks to its superior feature learning capability. Unfortunately, due to the scarcity of training data in medical imaging, it is nontrivial for DL networks to implicitly learn the global structure of the target surfaces, including surface interactions. In this work, we propose to parameterize the surface cost functions in the graph model and leverage DL to learn those parameters. The multiple optimal surfaces are then simultaneously detected by minimizing the total surface cost while explicitly enforcing the mutual surface interaction constraints. The optimization problem is solved by the primal-dual Internal Point Method, which can be implemented by a layer of neural networks, enabling efficient end-to-end training of the whole network. Experiments on Spectral Domain Optical Coherence Tomography (SD-OCT) retinal layer segmentation and Intravascular Ultrasound (IVUS) vessel wall segmentation demonstrated very promising results. All source code is public to facilitate further research at this direction.

연구 동기 및 목표

• 약한 경계와 상호 의존성으로 인해 정확도가 떨어지는 의료 영상에서 다수의 상호작용하는 표면을 분할하는 문제를 해결하기 위해.
• 표면 비용 모델링에 수작업 특징을 기반으로 하는传통적인 그래프 기반 방법의 한계를 극복하기 위해.
• 다중 표면 분할에서 딥러닝의 특징 표현 능력과 볼록 최적화의 전역 최적성의 이점을 통합하기 위해.
• 신경망 레이어 구현을 통한 IPM의 미분 가능성을 통해 제약 조건 최적화 과정을 종단 간 학습이 가능하도록 하기 위해.
• 실제 의료 영상 작업—SD-OCT 및 IVUS 자료를 사용한 망막층 및 혈관벽 분할—에서 제안된 방법의 효과성을 입증하기 위해.

제안 방법

• 딥러닝(특히 U-Net)을 사용하여 그래프 기반 분할 모델의 표면 비용 함수를 이미지에 따라 달라지는 비용 매개변수로 매개변수화한다.
• 표면 상호작용 제약 조건과 전역 최적성을 보장하는 제약 조건이 있는 볼록 최적화 문제로 다중 표면 분할을 공식화한다.
• 최적화 문제를 해결하기 위해 이중 최적화 방법(IPM)을 미분 가능한 레이어로 구현하여 역전파를 최적화 과정을 통해 가능하게 한다.
• KKT 조건과 행렬 미적분을 사용하여 IPM 레이어의 닫힌 형태의 기울기를 네트워크 가중치, 입력 특징, 제약 조건에 대해 유도한다.
• PyTorch를 사용하여 GPU 가속 배치 처리 및 특이 행렬에 대한 의사역행렬 처리를 지원하는 IPM 레이어를 구현한다.
• IPM 레이어를 딥러닝 파이프라인에 통합하여 U-Net과 최적화 구성 요소를 함께 훈련시키고 완전한 역전파를 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥러닝과 볼록 최적화를 효과적으로 융합하여 의료 영상에서 다수의 상호작용하는 표면에 대해 전역 최적의 분할을 달성할 수 있는가?
• RQ2 그래프 기반 분할 모델의 표면 비용 함수는 어떻게 딥러닝 네트워크를 통해 종단 간 학습 가능한 방식으로 매개변수화하고 학습할 수 있는가?
• RQ3 IPM과 같은 미분 가능한 최적화 레이어는 약한 경계가 존재하는 상황에서 다중 표면 분할의 정확도와 견고성을 얼마나 향상시킬 수 있는가?
• RQ4 제안된 방법은 SD-OCT 및 IVUS와 같은 다양한 의료 영상 모odalities에 일반화될 수 있는가?
• RQ5 제약 조건을 통한 표면 상호작용의 명시적 모델링은 독립적인 표면 검출에 비해 분할 성능을 얼마나 향상시키는가?

주요 결과

• 제안된 방법은 SD-OCT 영상에서 망막층 분할 작업에서 최신 기술 수준의 성능을 달성하여 기준 U-Net 및 FCN 기반 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 약한 이미지 대비와 낮은 경계 명확도가 존재하는 영역에서도 IVUS 영상에서 혈관벽 분할에 대해 뛰어난 견고성을 보였다.
• IPM 레이어의 통합으로 안정적인 수렴을 보이며 종단 간 학습이 가능했으며, 각 순전파에서 최대 7회 이내의 IPM 반복만을 요구하였다.
• 정량적 평가 결과, 최적화되지 않은 및 상호작용를 고려하지 않은 기준 모델 대비 더 높은 Dice 점수와 감소된 경계 오차를 기록하였다.
• 제거 실험을 통해 표면 상호작용을 모델링함으로써 특히 모호하거나 저대비 영역에서 분할 정확도가 크게 향상됨을 확인하였다.
• 모든 코드와 데이터를 [26]에서 오픈소스로 제공함으로써 재현 가능성과 의료 영상 분할을 위한 미분 가능한 최적화 분야의 향후 연구를 촉진한다.