[논문 리뷰] Convex Shape Prior for Deep Neural Convolution Network based Eye Fundus Images Segmentation

Jun Liu, Xue‐Cheng Tai외 1명|arXiv (Cornell University)|2020. 05. 15.

Retinal Imaging and Analysis참고 문헌 36인용 수 7

한 줄 요약

이 논문은 망막 도말 영상의 컷티스널 신경망(DCNN)-기반 분할에 볼록형태 사전 지식을 강제하는 유연하고 즉각적인 딥러닝 레이어인 CS-STD를 제안한다. 시그모이드 활성화의 이중 표현을 활용하고 이중 공간에서 이차 볼록성 제약 조건을 적용하여, 분할 결과가 볼록적이고 부드럽고 이진임을 보장함으로써, 후처리나 도메인 적응 기법 없이도 성능을 크게 향상시킨다.

ABSTRACT

Convex Shapes (CS) are common priors for optic disc and cup segmentation in eye fundus images. It is important to design proper techniques to represent convex shapes. So far, it is still a problem to guarantee that the output objects from a Deep Neural Convolution Networks (DCNN) are convex shapes. In this work, we propose a technique which can be easily integrated into the commonly used DCNNs for image segmentation and guarantee that outputs are convex shapes. This method is flexible and it can handle multiple objects and allow some of the objects to be convex. Our method is based on the dual representation of the sigmoid activation function in DCNNs. In the dual space, the convex shape prior can be guaranteed by a simple quadratic constraint on a binary representation of the shapes. Moreover, our method can also integrate spatial regularization and some other shape prior using a soft thresholding dynamics (STD) method. The regularization can make the boundary curves of the segmentation objects to be simultaneously smooth and convex. We design a very stable active set projection algorithm to numerically solve our model. This algorithm can form a new plug-and-play DCNN layer called CS-STD whose outputs must be a nearly binary segmentation of convex objects. In the CS-STD block, the convexity information can be propagated to guide the DCNN in both forward and backward propagation during training and prediction process. As an application example, we apply the convexity prior layer to the retinal fundus images segmentation by taking the popular DeepLabV3+ as a backbone network. Experimental results on several public datasets show that our method is efficient and outperforms the classical DCNN segmentation methods.

연구 동기 및 목표

• 딥러닝 기반 의료 영상 분할에서 볼록형태 사전 지식을 효과적으로 강제하는 문제를 해결하기 위해.
• 학습 및 추론 효율성을 해치지 않으면서 볼록성 제약 조건을 DCNN에 직접 통합하는 방법을 개발하기 위해.
• 분할 결과가 볼록적이고 부드럽게 유지되어, 기존 DCNN에서 흔히 발생하는 불규칙하거나 비볼록 경계를 방지하기 위해.
• 전진 및 역전파 단계를 통해 볼록성 안내 정보가 효율적으로 전파되는 엔드 투 엔드 학습을 가능하게 하기 위해.
• 후처리나 도메인 적응 기법에 의존하지 않고도 노이즈나 도메인 이동에 대해 강인한 성능을 확보하기 위해.

제안 방법

• 분할을 볼록성 제약 조건이 있는 변분 문제로 모델링하기 위해 시그모이드 활성화 함수의 이중 표현을 도입한다.
• 이중 공간에서 이차 볼록성 제약 조건을 적용하여 이진 분할 결과가 볼록적이도록 보장한다.
• 소프트 스레셔딩 다이내믹스(STD) 프레임워크를 확장하여 공간 정규화를 통합함으로써 부드럽고 볼록한 경계를 확보한다.
• 제약 최적화 문제를 효율적으로 수치적으로 해결하기 위해 안정적인 액티브 세트 투영 알고리즘을 개발한다.
• 결과적으로 도메인에 관계없이 기존 DCNN(예: DeepLabV3+)에 즉시 통합 가능한 플러그 앤 플레이 레이어인 CS-STD 블록을 구성한다.
• 다중 볼록 물체 지원과 부분 볼록성 허용을 통해 복잡한 해부학적 구조에 대해 민첩성을 확보한다.

실험 결과

연구 질문

• RQ1 표준 DCNN 아키텍처에 볼록형태 사전 지식을 효과적이고 효율적으로 통합할 수 있는가?
• RQ2 딥러닝 프레임워크 내에서 볼록성을 기계학습 가능한 방식으로 강제할 수 있는가?
• RQ3 볼록성 강제가 노이즈나 도메인 이동 조건 하에서도 분할 정확도, 부드러움, 강인성을 향상시키는가?
• RQ4 복수의 물체(예: 시력판과 시신경두)를 동시에 처리하면서도 볼록성을 유지할 수 있는가?
• RQ5 실제 망막 영상 분할에서 최신 기술과 도메인 적응 기법에 비해 제안된 방법은 어떻게 성능을 냅니다?

주요 결과

• 제안된 CS-STD 방법은 RIM-ONE-r3 테스트 세트에서 시력판 분할에 대해 92.2%의 Dice 스코어, 시신경두 분할에 대해 80.7%를 기록하여 기준 모델인 DeepLabV3+(85.4% 및 70.9%)를 초월했다.
• 노이즈 없는 조건에서 3.4% 향상되었고, 고노이즈 수준(σ = 25)에서는 5.7% 향상되어 강력한 강인성을 입증했다.
• 기존 최신 기술들이 후처리나 도메인 적응 기법에 의존하는 것과 달리, 이 방법은 어떠한 후처리나 도메인 적응 없이도 뛰어난 성능을 달성했다.
• 액티브 세트 투영 알고리즘이 학습 및 추론 과정에서 수치적 안정성과 빠른 수렴을 보장했다.
• 볼록성 사전 지식이 경계의 부드러움을 크게 향상시키고, 기존 DCNN 출력에서 흔히 발생하는 불규칙한 아티팩트를 줄였다.
• 데이터 분포가 다를 경우에도 잘 일반화되어, 훈련 및 테스트 데이터 분포가 다를 때도 높은 성능을 유지했다.