[논문 리뷰] Image Inpainting Using Directional Tensor Product Complex Tight Framelets

Yi Shen, Bin Han외 1명|arXiv (Cornell University)|2014. 07. 11.

Image and Signal Denoising Methods참고 문헌 24인용 수 8

한 줄 요약

이 논문은 자연 이미지에서 만화와 무늬를 동시에 재구성하기 위해 방향성 텐서 곱 복소 타이트 프레임릿(TP-CTFs)을 사용하는 새로운 이미지 복원 알고리즘을 제안한다. 균형 잡힌 접근 방식—희소성에 대한 l1-정규화와 부드러움에 대한 l2-정규화를 조합함—을 활용하여, 특히 노이즈 조건 하에서도 최신의 フレーム 기반 알고리즘보다 뛰어난 성능을 달성한다.

ABSTRACT

In this paper we are particularly interested in the image inpainting problem using directional complex tight wavelet frames. Under the assumption that frame coefficients of images are sparse, several iterative thresholding algorithms for the image inpainting problem have been proposed in the literature. The outputs of such iterative algorithms are closely linked to solutions of several convex minimization models using the balanced approach which simultaneously combines the $l_1$-regularization for sparsity of frame coefficients and the $l_2$-regularization for smoothness of the solution. Due to the redundancy of a tight frame, elements of a tight frame could be highly correlated and therefore, their corresponding frame coefficients of an image are expected to close to each other. This is called the grouping effect in statistics. In this paper, we establish the grouping effect property for frame-based convex minimization models using the balanced approach. This result on grouping effect partially explains the effectiveness of models using the balanced approach for several image restoration problems. Inspired by recent development on directional tensor product complex tight framelets (TP-CTFs) and their impressive performance for the image denoising problem, in this paper we propose an iterative thresholding algorithm using a single tight frame derived from TP-CTFs for the image inpainting problem. Experimental results show that our proposed algorithm can handle well both cartoons and textures simultaneously and performs comparably and often better than several well-known frame-based iterative thresholding algorithms for the image inpainting problem without noise. For the image inpainting problem with additive zero-mean i.i.d. Gaussian noise, our proposed algorithm using TP-CTFs performs superior than other known state-of-the-art frame-based image inpainting algorithms.

연구 동기 및 목표

• 자연 이미지 내의 만화 및 무늬 성분을 효과적으로 처리할 수 있는 단일 프레임 기반 이미지 복원 방법을 개발한다.
• 균형 잡힌 접근 방식을 사용한 フレーム 기반 볼록 최소화의 맥락에서 그룹화 효과 성질을 수립한다.
• 방향성 TP-CTFs를 활용하여 가우시안 i.i.d. 가우시안 노이즈 하에서 이미지 복원 성능을 향상시킨다.
• 단일 타이트 프레임이 TP-CTFs에서 유도된 것으로, 만화 및 무늬 복원을 동시에 수행할 때 다중 프레임 접근 방식을 능가할 수 있음을 보여준다.

제안 방법

• 이미지의 만화 및 무늬 성분을 위한 희소 표현을 위해 방향성 텐서 곱 복소 타이트 프레임릿(TP-CTFs)을 단일이고 다중 중첩된 타이트 프레임으로 활용한다.
• 희소성에 대한 l1-정규화와 부드러움에 대한 l2-정규화를 조합한 볼록 최소화 모델 기반의 반복적 임계치 알고리즘을 적용한다—이를 균형 잡힌 접근 방식이라 한다.
• TP-CTFs의 에너지 보존성과 과잉 초과성 특성을 활용하여 재구성 정밀도를 향상시키고, 관련된 프레임 계수의 그룹화를 향상시킨다.
• 다중 중첩 타이트 프레임 맥락에서 균형 잡힌 접근 방식에 대한 그룹화 효과 성질을 유도하고 증명하며, 이미지 복원에서의 효과성을 설명한다.
• 볼록 최적화 문제를 효율적으로 해결하기 위해 원-이중 분할 기반 알고리즘을 구현한다.
• 고정점 임계치 전략을 사용하고 각 이미지 및 노이즈 수준에 맞게 적응형 매개변수 조정을 수행하여 수동 매개변수 설정을 피한다.

실험 결과

연구 질문

• RQ1 단일 방향성 TP-CTF 기반 타이트 프레임이 이미지 복원에서 만화 및 무늬 성분을 효과적으로 재구성할 수 있는가?
• RQ2 균형 잡힌 접근 방식(l1 + l2 정규화)은 다중 중첩 타이트 프레임 시스템에서 그룹화 효과를 나타내는가? 이는 이미지 복원 성능에 어떻게 영향을 미치는가?
• RQ3 노이즈 조건 하에서 최신의 フレーム 기반 복원 방법과 비교해 본다면, 제안된 알고리즘의 PSNR 및 시각적 품질은 어떠한가?
• RQ4 균형 잡힌 접근 방식에서 이론적으로 증명된 그룹화 효과 성질은 이러한 모델의 이미지 복원에서의 경험적 성공을 설명할 수 있는가?

주요 결과

• 노이즈 없이 이미지 복원을 수행할 경우, 제안된 알고리즘이 기존의 フレ임 기반 방법보다 더 높은 PSNR 값을 확보한다. 특히 Hill, Man, Boat, Barbara, Mandrill 등의 표준 테스트 이미지에서 뚜렷한 성능 향상을 보인다.
• i.i.d. 평균 0, 표준편차 σ = 30인 가우시안 노이즈 하에서, Hill 이미지(Mask Text 3)에서 PSNR 27.84를 기록하여 비교된 모든 방법보다 뛰어난 성능을 보였다.
• 50%의 무작위로 손실된 픽셀 조건 하에서, Hill 이미지에서 PSNR 28.14를 달성하여 [3, 4, 5, 16, 23]의 모든 테스트 케이스에서 성능을 초월하였다.
• 고강도 노이즈(σ = 50) 조건 하에서도 알고리즘이 유의미하게 뛰어난 성능을 유지하며, Hill 이미지(Mask Text 3)에서 PSNR 25.56을 기록하여 다른 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• 이론적 분석을 통해 다중 중첩 타이트 프레임 맥락에서 균형 잡힌 접근 방식에 대한 그룹화 효과 성질을 증명하였으며, 이는 이미지 복원에서의 효과성에 대한 부분적 설명을 제공한다.
• 시각적 결과 및 확대 비교를 통해, 특히 Barbara의 드레스나 Man의 얼굴 특징와 같은 복잡한 영역에서 경계를 선명하게 유지하고 미세한 무늬를 효과적으로 보존함을 확인하였다.