[논문 리뷰] Linkage between piecewise constant Mumford-Shah model and ROF model and its virtue in image segmentation

Xiaohao Cai, Raymond H. Chan외 3명|arXiv (Cornell University)|2018. 07. 26.

Medical Image Segmentation Techniques참고 문헌 34인용 수 8

한 줄 요약

이 논문은 조각상수 무퍼드-샤흐(PCS) 모델과 루딘-오셔-파테미(ROF) 총변동 모델 간의 이론적 연계성을 수립하며, 이중 분할을 위한 PCMS의 부분 최소화자가 ROF 최소화자의 임계값 처리를 통해 구할 수 있음을 보여준다. 이는 이미지 복원 후 임계값 처리를 통한 새로운 효율적이고 효과적인 분할 기반—이미지 복원을 ROF로 수행한 후 임계값 처리를 수행하는 방식—을 이끌어내며, 특히 노이즈나 블러가 있는 이미지에서 최신의 PCMS 기반 방법보다 속도와 정확도 면에서 뛰어나다는 게 증명되었다.

ABSTRACT

The piecewise constant Mumford-Shah (PCMS) model and the Rudin-Osher-Fatemi (ROF) model are two important variational models in image segmentation and image restoration, respectively. In this paper, we explore a linkage between these models. We prove that for the two-phase segmentation problem a partial minimizer of the PCMS model can be obtained by thresholding the minimizer of the ROF model. A similar linkage is still valid for multiphase segmentation under specific assumptions. Thus it opens a new segmentation paradigm: image segmentation can be done via image restoration plus thresholding. This new paradigm, which circumvents the innate non-convex property of the PCMS model, therefore improves the segmentation performance in both efficiency (much faster than state-of-the-art methods based on PCMS model, particularly when the phase number is high) and effectiveness (producing segmentation results with better quality) due to the flexibility of the ROF model in tackling degraded images, such as noisy images, blurry images or images with information loss. As a by-product of the new paradigm, we derive a novel segmentation method, called thresholded-ROF (T-ROF) method, to illustrate the virtue of managing image segmentation through image restoration techniques. The convergence of the T-ROF method is proved, and elaborate experimental results and comparisons are presented.

연구 동기 및 목표

• 이미지 분할에서 비볼록인 PCMS 모델과 볼록인 ROF 모델 간의 이론적 연결 고리를 수립하기 위해.
• 기존 PCMS 기반 분할 방법에서 내재된 계산 비효율성과 국소 최소값 문제를 해결하기 위해.
• ROF 모델의 볼록성과 강건성의 이점을 활용하여 성능 향상을 이룬 새로운 분할 기반을 개발하기 위해.
• 복원과 임계값 처리를 통해 고품질 분할을 달성하는 새로운 임계값 처리된 ROF(T-ROF) 방법을 제안하고 분석하기 위해.
• 다양한 이미지 훼손 유형에 걸쳐 분할 품질과 계산 효율성 측면에서 제안된 방법의 우수성을 검증하기 위해.

제안 방법

• 이중 분할의 경우, PCMS 모델의 부분 최소화자가 ROF 모델 최소화자의 임계값 처리를 통해 도출될 수 있음을 증명하기 위해.
• 특정 가정 하에 다중 분할 상황으로 연장하여, 복원-임계값 처리 기반의 일반화를 가능하게 하기 위해.
• T-ROF 방법 제안: 이미지 복원을 위해 ROF 모델을 풀고, 각 영역의 평균 강도를 기반으로 동적 임계값 처리 규칙을 적용하기 위해.
• 이중 단계 반복 알고리즘 사용: 먼저 ROF 기능을 최소화하고, 그 다음 현재 분할의 평균 강도를 사용해 임계값을 갱신하기 위해.
• T-ROF 방법의 수렴성 증명을 통해 반복 과정이 분할 기준을 충족하는 해로 수렴함을 보여주기 위해.
• ROF 모델이 노이즈, 블러 또는 열악한 조건의 이미지를 처리할 수 있는 능력을 활용하여, 볼록성과 경계 유지 특성을 바탕으로 안정적인 복원을 수행한 후 임계값 처리를 수행하기 위해.

실험 결과

연구 질문

• RQ1 ROF 최소화자의 결과를 임계값 처리함으로써 PCMS 모델의 타당한 해를 구성할 수 있는가?
• RQ2 ROF와 PCMS의 연계 기반 복원-임계값 처리 기반의 분할 방식이 기존 PCMS 기반 분할 방법보다 속도와 정확도 면에서 뛰어나게 성능을 냈는가?
• RQ3 T-ROF 방법은 노이즈, 블러 또는 저대비 특징이 뚜렷한 이미지에서 어떻게 성능을 발휘하는가?
• RQ4 ROF와 PCMS 간의 이론적 연계성을 이중 분할을 넘어서 다중 분할의 경우로 확장할 수 있는가?
• RQ5 제안된 T-ROF 알고리즘의 수렴 행동은 어떠한가? 그리고 그 임계값 갱신 규칙은 분할 품질에 어떤 영향을 미치는가?

주요 결과

• 이론적 연계성은 이중 분할의 경우 ROF 최소화자의 결과를 임계값 처리함으로써 PCMS 모델의 부분 최소화자가 도출됨을 증명한다.
• T-ROF 방법은 망막 이미지의 오른쪽 혈관에서 DICE 스코어 0.7749를 기록하여 SaT 방법(0.5673) 및 기타 경쟁자들을 크게 앞서며 뛰어난 성능을 보였다.
• T-ROF 방법은 망막 이미지에서 분할 정확도(SA) 0.9929를 기록하여, 최신 기술인 SaT 방법을 포함한 모든 다른 방법들을 초월하였다.
• T-ROF 방법은 망막 이미지에서 2.09초 내로 실행되어, 다음으로 빠른 방법인 SaT(3.51초)를 뛰어넘어 뛰어난 계산 효율성을 보였다.
• 기존 PCMS 기반 방법이 실패하는 복잡한 망막 이미지에서 얇고 저대비의 혈관도 성공적으로 분할하였으며, 특히 2개 이상의 분할 단계를 초과할 경우 두각하였다.
• T-ROF 알고리즘의 수렴성이 엄밀히 증명되어 반복 과정이 안정적이고 신뢰할 수 있는 분할 결과를 보장한다.