[논문 리뷰] Adaptive diffusion constrained total variation scheme with application to `cartoon + texture + edge' image decomposition

Juan Carlos Moreno, V. B. Surya Prasath외 3명|arXiv (Cornell University)|2015. 05. 05.

Medical Image Segmentation Techniques참고 문헌 54인용 수 5

한 줄 요약

이 논문은 변분 PDE 프레임워크를 사용하여 이미지를 카툰, 텍스처, 에지 성분으로 분해하는 적응형 확산 제약 총변동(TV) 기법을 제안한다. 국소 히스토그램 기반 적응형 가중치와 선형 확산을 이중 최소화 알고리즘에 통합함으로써, 기존의 TV 기반 및 이방성 확산 방법보다 뛰어난 에지 유지 분해와 노이즈 제거 성능을 달성하였으며, 이미지 특징의 다중 척도 분리에서도 뛰어난 성능을 보였다.

ABSTRACT

We consider an image decomposition model involving a variational (minimization) problem and an evolutionary partial differential equation (PDE). We utilize a linear inhomogenuous diffusion constrained and weighted total variation (TV) scheme for image adaptive decomposition. An adaptive weight along with TV regularization splits a given image into three components representing the geometrical (cartoon), textural (small scale - microtextures), and edges (big scale - macrotextures). We study the wellposedness of the coupled variational-PDE scheme along with an efficient numerical scheme based on Chambolle's dual minimization method. We provide extensive experimental results in cartoon-texture-edges decomposition, and denoising as well compare with other related variational, coupled anisotropic diffusion PDE based methods.

연구 동기 및 목표

• 이미지를 카툰, 텍스처, 에지 성분으로 분리하여 더 나은 구조적 및 텍스처 분석을 가능하게 하는 강력한 이미지 분해 모델을 개발하기 위해.
• 기존 TV 정규화의 한계(스테어케이징 및 텍스처 처리 부족)를 보완하기 위해 적응형 가중치와 확산 제약을 도입하기 위해.
• 국소 이미지 통계에서 유도된 척도 적응형 매개변수를 통합함으로써 다중 척도 분해를 가능하게 하기 위해.
• 잘 정의된 변분-PDE 프레임워크를 통해 노이즈 제거 성능을 향상시키면서도 에지와 미세 텍스처를 유지하기 위해.
• 실시간 적용 가능성을 고려해 찬볼레의 이중 최소화 기반 수치적 효율적인 해법을 제공하기 위해.

제안 방법

• 이 방법은 국소 이미지 히스토그램에서 유도된 적응형 가중치를 사용하는 가중치 TV 정규화를 적용하여 카툰, 텍스처, 에지 성분을 구분한다.
• 선형 비균일 확산 방정식을 TV 기능과 결합하여 이미지 성분의 진화를 제약하고 균일한 영역에서의 스무딩 성능을 향상시킨다.
• TV, 적합성(L2), 텍스처(Gp) 노름을 조합한 기능을 최소화하는 변분 문제로 공식화하며, L1-적합 항에 적응형 가중치를 통합한다.
• PDE 기반 진화는 에지를 유지하면서도 텍스처 분리를 향상시키는 확산 제약 기반 방법으로 해결된다.
• 수치적 구현을 효율적으로 하기 위해 찬볼레의 방법 기반 이중 최소화 알고리즘을 사용하며, 문제를 다룰 수 있는 부분 문제로 분해한다.
• 국소 이미지 통계에서 유도된 계층적 매개변수 적응 전략을 통해 반복적으로 성분을 정밀화함으로써 다중 척도 분해를 지원한다.

실험 결과

연구 질문

• RQ1 국소 이미지 통계 기반 적응형 가중치가 이미지 분해에서 카툰, 텍스처, 에지 성분의 분리 성능을 향상시키는가?
• RQ2 선형 확산 제약을 총변동(TV)과 결합함으로써 에지 유지 및 텍스처 분리 성능가 향상되는가?
• RQ3 제안된 변분-PDE 프레임워크가 표준 TV 및 이방성 확산 모델에 비해 다중 척도 분해 및 노이즈 제거 성능에서 얼마나 뛰어나게 되는가?
• RQ4 제안된 방법이 다양한 이미지 조건과 노이즈 수준에서 잘 정의되고 수치적으로 안정적인가?
• RQ5 이 방법은 TV를 초월한 다른 정규화 요소로도 확장 가능하며, 여전히 분해 및 노이즈 제거 성능을 유지할 수 있는가?

주요 결과

• 제안된 CTE 모델은 [54]의 계층적 방법에 비해 더 명확한 카툰 성분과 점진적인 텍스처 캡처를 보이며, 뛰어난 카툰-텍스처-에지 분리 성능을 달성하였다.
• 국소 히스토그램 기반 적응형 가중치는 특히 소규모 텍스처와 대규모 에지를 구분하는 데 있어 성분 분리 정확도를 크게 향상시켰다.
• 합성 및 실제 이미지에서의 검증을 통해 표준 TV 및 이방성 확산 모델보다 에지 유지 및 노이즈 억제 성능에서 뛰어난 성능을 보였다.
• 이중 최소화 구현은 빠르고 안정적인 수렴을 보이며, 고해상도 이미지에 대해서도 효율적인 계산을 가능하게 하였다.
• 모델의 다중 척도 버전은 다중 척도에서 텍스처를 성공적으로 캡처하였으며, 그림 18에서 반복 과정을 통해 점진적인 정밀화가 명확히 관찰되었다.
• 노이즈 제거 결과는 모델의 실용성을 입증하는 데 기여하였지만, 순수 노이즈 제거 성능에서는 BM3D나 비국소 평균과 같은 전용 노이즈 제거 방법에 비해 떨어졌다.