[논문 리뷰] Dictionary Learning for Deblurring and Digital Zoom

Florent Couzinié-Devy, Julien Mairal외 2명|arXiv (Cornell University)|2011. 10. 05.

Image and Signal Denoising Methods참고 문헌 2인용 수 26

한 줄 요약

이 논문은 짝지어진 흐린/선명한 또는 저해상도/고해상도 이미지 패치를 사용하여 작업에 특화된 사전를 학습하는 비보상적 사전 학습 방법을 제안한다. 스퍼스 코딩과 선형 예측기의 조합을 통해 확률적 경사 하강법으로 최적화함으로써, 합성 데이터와 실세계 데이터 양쪽에서 기존의 방법들, 특히 Yang 등이 제안한 이중 사전 접근 방식을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This paper proposes a novel approach to image deblurring and digital zooming using sparse local models of image appearance. These models, where small image patches are represented as linear combinations of a few elements drawn from some large set (dictionary) of candidates, have proven well adapted to several image restoration tasks. A key to their success has been to learn dictionaries adapted to the reconstruction of small image patches. In contrast, recent works have proposed instead to learn dictionaries which are not only adapted to data reconstruction, but also tuned for a specific task. We introduce here such an approach to deblurring and digital zoom, using pairs of blurry/sharp (or low-/high-resolution) images for training, as well as an effective stochastic gradient algorithm for solving the corresponding optimization task. Although this learning problem is not convex, once the dictionaries have been learned, the sharp/high-resolution image can be recovered via convex optimization at test time. Experiments with synthetic and real data demonstrate the effectiveness of the proposed approach, leading to state-of-the-art performance for non-blind image deblurring and digital zoom.

연구 동기 및 목표

• 이미지 복원에서 생성 모델의 한계를 해결하기 위해, 흐림 제거 및 디지털 줌을 위한 비보상적 사전 학습 접근 방식을 도입한다.
• 저품질 패치를 고품질 대응체로 직접 매핑하는 작업에 특화된 사전를 학습시켜 이미지 복원 성능을 향상시킨다.
• 확률적 경사 하강법을 활용해 수백만 개의 패치를 포함한 대규모 패치 데이터베이스에서 효율적인 훈련을 가능하게 하여, 방법의 확장성을 확보한다.
• 스퍼스 코딩과 선형 예측기를 조합하여 비보상적 흐림 제거 및 디지털 줌에서 최고의 성능을 달성한다.

제안 방법

• 이 방법은 짝지어진 훈련 데이터를 사용하여 저해상도(흐린) 패치용과 고해상도(선명한) 패치용으로 두 개의 작업에 특화된 사전를 학습한다.
• 복원 문제를 비보상적 학습 과제로 설정하여, 선형 예측기가 저해상도 패치의 스퍼스 표현을 해당 고해상도 패치로 매핑하도록 한다.
• 최적화 문제는 확률적 경사 하강법을 사용하여 해결되며, 이는 대규모 이미지 패치 데이터베이스에서의 효율적 훈련을 가능하게 한다.
• 이 방법은 각 저해상도 패치를 학습된 사전의 몇몇 원자들의 선형 조합으로 표현하기 위해 스퍼스 코딩을 사용한다.
• 시험 시간에 고해상도 이미지의 재구성은 볼록 최적화를 통해 수행되며, 이는 안정성과 효율성을 보장한다.
• 이 방법은 천체 사진 및 모바일 폰 이미지 포함한 합성 및 실세계 데이터에서 모두 검증된다.

실험 결과

연구 질문

• RQ1 비보상적 사전 학습 프레임워크가 이미지 흐림 제거 및 디지털 줌 과제에서 생성 모델을 능가할 수 있는가?
• RQ2 사전 학습과 선형 예측기를 조합할 경우, 표준 스퍼스 코딩 접근 방식에 비해 복원 성능 향상은 어느 정도 이루어지는가?
• RQ3 확률적 경사 하강법을 통해 대규모 패치 데이터베이스에서의 확장 가능한 훈련을 어느 정도 가능하게 하는가?
• RQ4 제안된 방법이 실세계 및 합성 데이터에서 비보상적 흐림 제거 및 디지털 줌에서 최신 기술 수준의 성능을 달성하는가?

주요 결과

• 디지털 줌 배율 2배에서 레나 이미지에 대해 PSNR 33.31을 기록하여, Yang 등이 제안한 방법(백프로젝션 없이 32.13, 백프로젝션 있음 33.06)을 능가한다.
• 걸리 이미지에서는 PSNR 32.00을 기록하여, Yang 등이 백프로젝션을 사용한 최고 성능인 31.93을 초월한다.
• 플라워 이미지에서는 PSNR 39.92를 기록하여, 백프로젝션을 사용한 Yang 등의 39.59에 비해 뚜렷이 뛰어나다.
• 정성적 결과에서는 Fattal 등과 비교해 더 선명한 질감과 윤곽을 생성하며, 질감 영역에서는 Glasdner 등과 유사한 성능을 보이며 더 적은 잡음 요소를 유발한다.
• 짝지어진 데이터에 기반한 비보상적 훈련 덕분에, 서브픽셀 정렬 오차와 앤티앨리어징 변형에 대해 뛰어난 강건성을 보인다.
• 작업에 특화된 사전와 선형 예측기를 함께 사용함으로써, 사전만 사용하는 접근 방식에 비해 성능 향상이 뚜렷하게 이루어진다.