[논문 리뷰] End-to-end Interpretable Learning of Non-blind Image Deblurring

Thomas Eboli, Jian Sun외 1명|arXiv (Cornell University)|2020. 07. 03.

Advanced Image Processing Techniques참고 문헌 45인용 수 4

한 줄 요약

이 논문은 컨volutional 전치 조건자 고정점 반복 풀이기를 사용하여 비점성 이미지 복원을 위한 학습 가능하고 종단 간 해석 가능한 프레임워크를 제안한다. 블러 및 사전 커널의 근사 역행렬 필터를 CNN 기반 아키텍처에 통합함으로써, 균일하고 비균일한 블러 모두에서 최신 기술 수준의 성능을 달성한다. 이는 FFT 및 공액 기울기 방법보다 속도와 정확도에서 뚜렷이 뛰어나며, 근사 블러 커널에 대해서도 강인하다.

ABSTRACT

Non-blind image deblurring is typically formulated as a linear least-squares problem regularized by natural priors on the corresponding sharp picture's gradients, which can be solved, for example, using a half-quadratic splitting method with Richardson fixed-point iterations for its least-squares updates and a proximal operator for the auxiliary variable updates. We propose to precondition the Richardson solver using approximate inverse filters of the (known) blur and natural image prior kernels. Using convolutions instead of a generic linear preconditioner allows extremely efficient parameter sharing across the image, and leads to significant gains in accuracy and/or speed compared to classical FFT and conjugate-gradient methods. More importantly, the proposed architecture is easily adapted to learning both the preconditioner and the proximal operator using CNN embeddings. This yields a simple and efficient algorithm for non-blind image deblurring which is fully interpretable, can be learned end to end, and whose accuracy matches or exceeds the state of the art, quite significantly, in the non-uniform case.

연구 동기 및 목표

• FFT 및 공액 기울기 방법과 같은 전통적 풀이기법이 비점성 이미지 복원, 특히 비균일 블러 상황에서 가지는 한계를 해결하기 위해.
• 이미지 전반에 걸쳐 효율적인 매개변수 공유를 가능하게 하는 컨볼루션 구조를 활용한 빠르고 정확한 최소 제곱 풀이기법을 개발하기 위해.
• CNN을 사용하여 전치 조건자와 프록시 연산자를 종단 간 학습 가능하게 하여 일반화 능력과 성능을 향상시키기 위해.
• 블랙박스 신경망이 아닌 물리적으로 타당한 전치 조건자를 사용함으로써 해석 가능성과 강인성을 확보하기 위해.
• 이산적인 국소 블러 커널에 대한 근사 역행렬을 사전 계산하여 비균일 운동 블러로의 확장을 가능하게 하기 위해.

제안 방법

• 비점성 복원 문제를 최소 제곱 하위 문제와 프록시 하위 문제로 분리하기 위해 반-이차적 분할 프레임워크를 사용한다.
• 표준 최소 제곱 풀이기법을 컨볼루션 필터를 전치 조건자로 사용하는 전치 조건자 고정점 반복으로 대체한다.
• 블러 커널과 자연 이미지 사전 커널의 근사 역행렬 필터를 CNN 내의 학습 가능한 컨볼루션 레이어로 활용한다.
• 전치 조건자와 프록시 연산자를 하나의 종단 간 학습 가능한 네트워크에 통합하여 공동 최적화를 가능하게 한다.
• 비균일 복원을 효율적으로 가능하게 하기 위해 이산적인 국소 블러 커널 집합(예: 이동 거리 {1,3,...,35} 및 방향성 {0°,6°,...,174°})에 대한 근사 역행렬 필터를 사전 계산한다.
• 경계 아티팩트 및 주기성 가정과 같은 푸리에 도메인의 제약을 피하기 위해 픽셀 도메인에서 직접 작동한다.

실험 결과

연구 질문

• RQ1 컨볼루션 전치 조건자를 사용할 경우, FFT 및 공액 기울기 방법보다 비점성 복원의 최소 제곱 하위 문제를 해결하는 데 더 우수한 성능을 낼 수 있는가?
• RQ2 전치 조건자와 프록시 연산자를 종단 간 학습 가능한 방식으로 함께 학습하면서도 해석 가능성은 유지할 수 있는가?
• RQ3 FFT 기반 방법이 적용 불가능한 비균일 운동 블러 상황에서 이 방법은 어떻게 성능을 내는가?
• RQ4 학습 중에 볼 수 없었던 근사 또는 큰 블러 커널을 사용할 경우에도 이 방법은 강인한가?
• RQ5 제안된 접근법은 균일하고 비균일 복원 설정 모두에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 비균일 블러에서 1% 노이즈 조건에서 LCHQS는 CG 기반 방법보다 PSNR가 +1.13 dB 향상되었으며, 속도는 200배 빠르다.
• 1% 노이즈 조건에서 비균일 블러 복원 시 LCHQS_F는 PSNR 26.98 ± 0.08 dB를 기록하여 HQS-CG(25.84 dB)와 HQS-FFT(23.49 dB)를 모두 능가한다.
• 근사 블러 커널에 대해서도 강인하다: LCHQS_F는 101×101 추정 커널을 사용하여 실제 이미지를 복원했으며, 아티팩트를 유발하지 않고 FCNN 및 FDN보다 더 선명한 결과를 도출한다.
• 비점성 설정에서 LCHQS_F는 1% 노이즈 조건에서 PSNR 26.98 ± 0.08 dB를 달성하여 CG 기반 및 FFT 기반 기준선을 크게 능가한다.
• 500×375 RGB 이미지에서 LCHQS는 CG보다 200배, FFT 기반 풀이기법보다 420배 더 빠르며, 추론 시간은 1초 이내다.
• 학습 중에 볼 수 없었던 블러 커널과 노이즈 수준에 대해서도 잘 일반화되며, 미세조정 없이도 강인함을 보였다.