[논문 리뷰] Neural ODEs for Image Segmentation with Level Sets

Rafael Valle, Fitsum A. Reda외 4명|arXiv (Cornell University)|2019. 12. 25.

Medical Image Segmentation Techniques참고 문헌 43인용 수 4

한 줄 요약

이 논문은 초기 윤곽선 또는 이미지 임베딩을 정밀한 의미적 세그멘테이션으로 진화시키기 위해 신경미분방정식(NODEs)과 레벨 세트 방법을 결합한 새로운 이미지 세그멘테이션 방법을 제안한다. NODEs를 통해 종단 간 학습으로 강제함수를 학습함으로써, 더 적은 파라미터로도 높은 세그멘테이션 정확도를 달성하며, 신장 및 주목할 만한 객체 세그멘테이션 벤치마크에서 최신 기준 $F_\beta$ 점수를 기록한다.

ABSTRACT

We propose a novel approach for image segmentation that combines Neural Ordinary Differential Equations (NODEs) and the Level Set method. Our approach parametrizes the evolution of an initial contour with a NODE that implicitly learns from data a speed function describing the evolution. In addition, for cases where an initial contour is not available and to alleviate the need for careful choice or design of contour embedding functions, we propose a NODE-based method that evolves an image embedding into a dense per-pixel semantic label space. We evaluate our methods on kidney segmentation (KiTS19) and on salient object detection (PASCAL-S, ECSSD and HKU-IS). In addition to improving initial contours provided by deep learning models while using a fraction of their number of parameters, our approach achieves F scores that are higher than several state-of-the-art deep learning algorithms.

연구 동기 및 목표

• 의료 영상 및 주목할 만한 객체 영상에서 모호한 객체 경계 근처의 정확한 픽셀 수준 세그멘테이션 문제를 해결한다.
• 수동으로 설계된 속도 함수에 의존하고 데이터 기반 적응성이 없는 전통적인 레벨 세트 방법의 한계를 극복한다.
• 적절히 설계된 초기 윤곽선이나 임베딩 함수에 대한 의존도를 줄이기 위해, 신경미분방정식을 통해 진화 동역학을 학습한다.
• NODEs를 사용하여 이미지 임베딩을 직접 조밀한 픽셀 단위 의미 레이블로 진화시켜, 명시적인 윤곽선 표현을 생략한다.
• NODE 기반 진화가 더 적은 파라미터로도 최신 딥러닝 모델과 경쟁하거나 그 이상의 성능을 내는지 입증한다.

제안 방법

• 레벨 세트의 윤곽선 진화를 신경미분방정식으로 매개변수화하여, 레벨 세트 함수 $\phi$ 의 도함수는 학습 가능한 신경망 $f_\theta$ 에 의해 지배된다.
• 초기 임베딩 $\phi^0$ 으로 부호 거리 함수를 사용하며, $\frac{d\phi}{dt} = |\nabla\phi| F$ 를 통해 $F$ 는 NODE에 의해 암묵적으로 학습된다.
• 세그멘테이션 손실을 최소화하기 위해 NODE를 종단 간으로 훈련시켜, 데이터로부터 최적의 윤곽선 진화 동역학을 학습한다.
• 두 번째 접근법으로, 이미지 임베딩 자체를 NODE를 통해 조밀한 픽셀 단위 의미 레이블 맵으로 진화시켜, 초기 윤곽선 설계에 의존하지 않도록 한다.
• 일반화를 향상시키기 위해 곡률 제어 및 외관 기반 제약 조건과 같은 정규화 항을 훈련 중에 도입한다.
• 파라미터 수를 줄이기 위해 NodeUNet(윤곽선 진화용) 및 NodeStack(이미지 임베딩 진화용)과 같은 아키텍처를 사용하여 강제함수를 효율적으로 학습한다.

실험 결과

연구 질문

• RQ1 신경미분방정식이 이미지 세그멘테이션의 레벨 세트 진화를 위한 강제함수를 효과적으로 학습할 수 있는가? 수동으로 설계된 속도 함수를 대체할 수 있는가?
• RQ2 NODEs를 통해 강제함수를 종단 간으로 학습함으로써, 기존의 딥러닝 모델 대비 세그멘테이션 정확도가 향상되는가?
• RQ3 NODEs를 사용하여 이미지 임베딩을 직접 조밀한 의미 레이블 맵으로 진화시킬 수 있는가? 이는 명시적인 초기 윤곽선 설계가 필요 없음을 의미한다.
• RQ4 제안된 NODE 기반 방법의 성능은 $F_\beta$ 점수와 파라미터 효율성 측면에서 최신 기준 모델과 비교해 어떻게 되는가?
• RQ5 외부 제약 조건(예: 곡률 정규화, 외관 특징)이 NODE 기반 진화 과정에 얼마나 효과적으로 통합될 수 있는가?

주요 결과

• NodeUNet 모델(5M 파라미터)은 PASCAL-S에서 15M 파라미터 UNet 기준보다 $\omega$-$F_\beta$ 점수를 5% 상승시켜, 더 뛰어난 파라미터 효율성을 입증했다.
• ECSSD에서 NodeStack 모델(41M 파라미터)은 $\omega$-$F_\beta$ 점수 0.768을 기록하여, DLS(0.766) 및 ELD(0.756)와 같은 여러 최신 기준 모델을 능가했다.
• HKU-IS에서 NodeStack 모델은 $\alpha$-$F_\beta$ 점수 0.848을 기록하여, MTDS, MDF 및 LEGS를 포함한 모든 비교 방법을 뛰어넘었다.
• HKU-IS에서 NodeStack 모델은 $\omega$-$F_\beta$ 점수 0.734를 기록하여, DLS(0.748) 및 ELD(0.718)를 초월했으며, 도전적인 주목할 만한 객체 데이터셋에서 강력한 일반화 능력을 보였다.
• PASCAL-S에서 $\omega$-$F_\beta$ 0.668을 기록하여, DRFI, MCDL, LEGS, MTDS, MDF 및 ELD를 모두 능가하며 최신 기준 성능을 달성했다.
• 이 방법은 ODE 해법 도중 간섭이 가능하므로, 향후 형태 사전 지식이나 곡률 정규화 통합이 가능할 수 있다.