[논문 리뷰] Deep Algorithm Unrolling for Blind Image Deblurring

Yuelong Li, Mohammad Tofighi외 3명|arXiv (Cornell University)|2019. 02. 09.

Advanced Image Processing Techniques참고 문헌 69인용 수 16

한 줄 요약

이 논문은 눈에 띄는 블라인드 디블러링을 위한 딥 언롤링(DUBLID)을 제안한다. 이는 블라인드 이미지 디블러링을 위한 반복 알고리즘을 언롤링하여 유도된 신경망 아키텍처로, 전통적인 최적화의 해석 가능성과 딥러닝의 성능 향상 특성을 결합한다. 이 방법은 훈련 데이터로부터 핵심 알고리즘 파라미터를 학습하여, 기존 반복 방법보다 빠른 추론 속도를 유지하면서도 최신 기술 수준의 디블러핑 성능을 달성한다.

ABSTRACT

Blind image deblurring remains a topic of enduring interest. Learning based approaches, especially those that employ neural networks have emerged to complement traditional model based methods and in many cases achieve vastly enhanced performance. That said, neural network approaches are generally empirically designed and the underlying structures are difficult to interpret. In recent years, a promising technique called algorithm unrolling has been developed that has helped connect iterative algorithms such as those for sparse coding to neural network architectures. However, such connections have not been made yet for blind image deblurring. In this paper, we propose a neural network architecture based on this idea. We first present an iterative algorithm that may be considered as a generalization of the traditional total-variation regularization method in the gradient domain. We then unroll the algorithm to construct a neural network for image deblurring which we refer to as Deep Unrolling for Blind Deblurring (DUBLID). Key algorithm parameters are learned with the help of training images. Our proposed deep network DUBLID achieves significant practical performance gains while enjoying interpretability at the same time. Extensive experimental results show that DUBLID outperforms many state-of-the-art methods and in addition is computationally faster.

연구 동기 및 목표

• 기존 반복적 블라인드 디블러핑 방법의 한계를 해결하기 위해, 수작업으로 설계된 정규화 항과 많은 반복 횟수가 필요로 하는 방법에 기반한 문제를 해결한다.
• 기존 딥러닝 기반 디블러핑 네트워크의 투명성 부족 문제를 해결하기 위해, 모델 기반의 해석 가능한 아키텍처를 도입한다.
• 블라인드 디블러핑을 위한 반복 알고리즘을 언롤링한 기반의 미분 가능한 신경망 아키텍처를 개발하여, 학습된 파라미터를 갖춘 엔드 투 엔드 훈련을 가능하게 한다.
• 알고리즘 언롤링을 통해 계산 효율성과 해석 가능성을 유지하면서도 고성능의 디블러핑 성능를 달성한다.

제안 방법

• 블라인드 디블러핑을 위한 반복 알고리즘을 기울기 도메인에서의 총변동성 정규화의 일반화로 제시한다.
• 알고리즘이 딥 신경망 아키텍처인 DUBLID로 언롤링되며, 각 레이어는 알고리즘의 한 번의 반복에 해당한다.
• 정규화 가중치 및 임계값 수준과 같은 핵심 알고리즘 파라미터는 학습 가능하게 하고, 훈련 데이터셋에서 역전파를 통해 최적화한다.
• 학습된 필터와 푸리에 도메인에서의 소프트 임계처리 연산을 네트워크에 통합하여 기울기 도메인에서의 희박성(스패arsity)을 촉진한다.
• 다양한 기능을 갖춘 레이어의 캐스케이드를 통해 블러 커널을 추정하고 날카운 이미지를 개선하는 방식으로, 모든 연산이 미분 가능하여 엔드 투 엔드 훈련이 가능하다.
• 연쇄 법칙과 복소도함수를 활용하여 언롤링된 레이어를 거쳐 역전파를 적용함으로써 학습 가능한 파라미터를 업데이트한다.

실험 결과

연구 질문

• RQ1 알고리즘 언롤링이 기존 프레임워크에서 다루지 않은 블라인드 이미지 디블러핑 문제에 효과적으로 확장될 수 있는가?
• RQ2 어떻게 하면 뛰어난 디블러핑 성능를 달성하면서도 해석 가능성을 유지하는 딥 신경망을 설계할 수 있는가?
• RQ3 언롤링된 알고리즘 내에서 학습된 파라미터가 일반화 능력과 속도 면에서 수작업 정규화 항보다 뛰어나게 성능을 냈을 수 있는가?
• RQ4 전통적인 반복적 솔버에 비해 언롤링된 네트워크 아키텍처가 반복 횟수를 얼마나 줄일 수 있는가?
• RQ5 제안된 방법이 블러 커널의 구조에 대한 사전 가정 없이 다양한 블러 유형에 대해 강건성을 유지하는가?

주요 결과

• DUBLID는 벤치마크 데이터셋에서 최신 기술 수준의 성능를 달성하여, 기존의 반복적 방법과 이전의 딥러닝 기반 접근법보다 PSNR 및 SSIM 지표에서 뛰어난 성능를 보였다.
• 기존의 반복적 솔버보다 훨씬 더 신속하게 수렴하며, 높은 품질의 결과를 얻기 위해 소수의 레이어(예: 8–12개)만으로도 충분했다.
• 모든 블러 유형(운동 블러, 초점 불일치 블러 포함)에 걸쳐 뛰어난 일반화 성능를 보였으며, 블러 유형에 맞는 특화된 아키텍처 수정 없이도 효과적으로 작동했다.
• DUBLID의 해석 가능성은 유지되었으며, 각 레이어가 최적화 알고리즘의 잘 정의된 단계에 해당하기 때문에 학습된 파라미터 분석이 가능했다.
• 제거 실험을 통해 언롤링 아키텍처에 학습 가능한 파라미터를 적용한 경우 고정 파라미터 기반 베이스라인 대비 일관된 성능 향상이 확인되었다.
• 경쟁 가능한 추론 속도를 확보하여 모바일 및 임베디드 플랫폼에서 실시간 응용에 적합한 성능를 확보했다.