[논문 리뷰] A bi-level view of inpainting - based image compression

Yunjin Chen, René Ranftl외 1명|arXiv (Cornell University)|2014. 01. 16.

Advanced Image Processing Techniques참고 문헌 10인용 수 10

한 줄 요약

이 논문은 복원 기반 이미지 압축을 위한 이중 최적화 프레임워크를 제안하며, 지원 픽셀의 선택을 최적화하여 복원 품질을 향상시킨다. 성능이 뛰어난 알고리즘인 순차적 조건부 심플렉스 쌍대법과 iPiano를 도입하고, 이중형 보간법이 오직 5%의 픽셀만으로도 거의 완벽한 이미지 복원을 달성할 수 있음을 입증한다. 이는 라플라스 모델과 총 변동 모델보다 뛰어난 성능을 보인다.

ABSTRACT

Inpainting based image compression approaches, especially linear and non-linear diffusion models, are an active research topic for lossy image compression. The major challenge in these compression models is to find a small set of descriptive supporting points, which allow for an accurate reconstruction of the original image. It turns out in practice that this is a challenging problem even for the simplest Laplacian interpolation model. In this paper, we revisit the Laplacian interpolation compression model and introduce two fast algorithms, namely successive preconditioning primal dual algorithm and the recently proposed iPiano algorithm, to solve this problem efficiently. Furthermore, we extend the Laplacian interpolation based compression model to a more general form, which is based on principles from bi-level optimization. We investigate two different variants of the Laplacian model, namely biharmonic interpolation and smoothed Total Variation regularization. Our numerical results show that significant improvements can be obtained from the biharmonic interpolation model, and it can recover an image with very high quality from only 5% pixels.

연구 동기 및 목표

• 무손실 이미지 압축을 향상시키기 위해, 무작위 샘플링에 의존하는 것이 아니라 복원을 위한 지원 픽셀의 선택을 최적화하는 것.
• 이전 방법들이 최적의 데이터 포인트를 찾기 위해 수백만 번의 반복을 요구하는 등 계산 효율성이 떨어지는 문제를 해결하는 것.
• 라플라스 보간법을 더 일반적인 모델로 확장하여, 이중형 보간법과 부드러운 총 변동 정규화를 포함한 모델을 도입함으로써 더 높은 복원 정밀도를 달성하는 것.
• 대규모 이중 최적화 문제를 해결하기 위한 빠르고 확장 가능한 알고리즘인 순차적 조건부 심플렉스 쌍대법과 iPiano를 개발하는 것.
• 이중형 보간법이 오직 5%의 픽셀만으로도 뛰어난 이미지 복원을 가능하게 하여 기존 방법을 뛰어넘는다는 것을 경험적으로 검증하는 것.

제안 방법

• 최적의 데이터 포인트 선택을 이중 최적화 문제로 공식화하며, 상위 수준에서는 마스크를 선택하고 하위 수준에서는 복원 모델을 해결한다.
• 기준선으로 라플라스 보간법 모델을 사용하며, 이는 딜리클레 및 뉴먼 조건을 갖춘 편미분방정식 $-\Delta u = 0$로 표현된다.
• 이중형 보간법을 통해 편미분방정식 $\Delta^2 u = 0$를 도입함으로써 곡률을 벌이며 더 매끄러운 복원을 강제한다.
• 조각별로 매끄러운 해를 촉진하기 위해 부드러운 총 변동(TV) 정규화를 적용하며, 하위 수준 문제에서는 $\|\nabla u\|_\varepsilon + \frac{1}{2}\|B^{1/2}(u - S^T x)\|^2_2$를 최소화한다.
• 상위 수준 최적화 문제를 해결하기 위해, 은폐 함수 정리에 의해 도출된 기울기를 계산한 후 L-BFGS를 사용한다.
• 두 가지 효율적인 해법인 순차적 조건부 심플렉스 쌍대법과 iPiano를 도입하여, 비볼록성과 대규모 문제에 대한 수렴 속도를 가속화한다.

실험 결과

연구 질문

• RQ1 무작위 샘플링 대신 최적의 지원 픽셀을 선택함으로써 이중 최적화가 복원 기반 이미지 압축의 성능을 크게 향상시킬 수 있는가?
• RQ2 낮은 샘플링 비율에서 이중형 보간법과 부드러운 총 변동 정규화는 표준 라플라스 보간법에 비해 복원 품질에서 어떻게 비교되는가?
• RQ3 iPiano와 순차적 조건부 심플렉스 쌍대법과 같은 빠른 1차 최적화 알고리즘이 최적의 픽셀 선택에서 발생하는 대규모 비볼록 문제를 효과적으로 해결할 수 있는가?
• RQ4 최적화된 복원 모델을 사용할 경우, 시각적으로 만족스럽거나 거의 완벽한 이미지 복원을 달성하기 위해 필요한 최소 픽셀 수는 얼마인가?
• RQ5 정규화 방법의 선택(Laplacian, 이중형, TV)이 이 압축 프레임워크의 성능과 안정성에 본질적으로 영향을 미치는가?

주요 결과

• 이중형 보간법은 시험된 이미지에서 평균 제곱오차(MSE)가 최소 4.85에 불과한 오직 5%의 픽셀만으로도 거의 완벽한 이미지 복원을 달성한다.
• 이중형 모델은 라플라스 모델과 부드러운 TV 정규화 모두를 능가하며, 기준 방법 대비 MSE를 최대 70%까지 감소시킨다.
• 부드러운 TV 정규화 모델은 계산 시간을 늘여도 라플라스 보간법을 향상시키지 못하며, 이는 이 특정 압축 설정에서는 유의미한 이점이 없음을 시사한다.
• iPiano와 순차적 조건부 심플렉스 쌍대법 알고리즘이 이전 방법에 비해 수렴 시간을 크게 단축시켰다. 이전 방법은 수백만 번의 반복이 필요했다.
• 제안된 이중 최적화 프레임워크는 비무작위적이고 정보가 풍부한 데이터 포인트를 선택할 수 있게 하여, 낮은 샘플링 비율에서도 뛰어난 복원 품질을 달성한다.
• 상위 수준 최적화에서 L-BFGS를 사용함으로써 은폐 함수 정리에 기반한 효율적인 기울기 계산이 가능해져 전체 프레임워크의 확장성이 향상된다.