[논문 리뷰] A Clearer Picture of Blind Deconvolution

Daniele Perrone, Paolo Favaro|arXiv (Cornell University)|2014. 11. 30.

Advanced Image Processing Techniques참고 문헌 35인용 수 3

한 줄 요약

이 논문은 빈자리 복원에서 오랫동안 둔류해 온 역설을 해결한다. 총 변동성(TV)-기반 알고리즘의 성공은 TV 사전 자체 때문이 아니라 최적화 과정에서 제약 조건을 순차적으로 적용하기 때문임을 보여준다. 특히 블러 커널의 양성과 정규화 조건이 중요하다. 이론적으로는 이러한 알고리즘이 블러 없음 해법에 갇혀 있어야 하지만, 저자들은 이 실제 적용 세부 사항이 진정한 해법으로의 수렴을 가능하게 하며, 단순하고 강력한 알고리즘으로 최첨단 성능을 달성함을 입증한다.

ABSTRACT

Blind deconvolution is the problem of recovering a sharp image and a blur kernel from a noisy blurry image. Recently, there has been a significant effort on understanding the basic mechanisms to solve blind deconvolution. While this effort resulted in the deployment of effective algorithms, the theoretical findings generated contrasting views on why these approaches worked. On the one hand, one could observe experimentally that alternating energy minimization algorithms converge to the desired solution. On the other hand, it has been shown that such alternating minimization algorithms should fail to converge and one should instead use a so-called Variational Bayes approach. To clarify this conundrum, recent work showed that a good image and blur prior is instead what makes a blind deconvolution algorithm work. Unfortunately, this analysis did not apply to algorithms based on total variation regularization. In this manuscript, we provide both analysis and experiments to get a clearer picture of blind deconvolution. Our analysis reveals the very reason why an algorithm based on total variation works. We also introduce an implementation of this algorithm and show that, in spite of its extreme simplicity, it is very robust and achieves a performance comparable to the state of the art.

연구 동기 및 목표

• TV 기반 빈자리 복원 알고리즘의 경험적 성공과 이론적 실패 사이의 모순을 해결하기 위해.
• 총 변동성 정규화를 사용한 교대 최소화가 이론적으로는 실패할 것으로 예측되지만 실제로는 올바른 해법으로 수렴하는 이유를 분석하기 위해.
• 성공의 핵심이 TV 사전가 아니라 최적화 과정에서 제약 조건을 순차적으로 적용하는 데 있음을 보여주기 위해.
• 필터링, 엣지 강화, 블러 커널 사전 등을 생략한 최소한의 제약 조건 순차화 알고리즘이 최첨단 방법과 경쟁 가능한 성능을 달성할 수 있음을 보여주기 위해.

제안 방법

• 저자들은 단순화된 일차원 모델을 사용하여 TV 기반 빈자리 복원의 수렴 행동을 분석하며, 단계 함수 이미지와 커널을 사용한다.
• 이론적으로 모든 제약 조건(양성, 정규화)을 동시에 적용할 경우, 어떤 정규화 강도이든 알고리즘이 블러 없음 해법에 갇혀 있음을 증명한다.
• 제약 조건을 순차적으로 적용할 경우—먼저 블러 커널에 대해, 그 다음 이미지에 대해—알고리즘이 블러 없음 해법에서 벗어나 진짜 해법으로 수렴함을 보여준다.
• 이 방법은 제약 조건을 동시에 적용하는 대신, 단계적으로 적용하는 프리미벌-듀얼 알고리즘(PAM)과 교대 최소화를 기반으로 한다.
• 저자들은 필터링, 엣지 강화, 블러 커널 사전 등을 생략하고, 오직 제약 조건의 순차적 적용에 집중한 최소한의 TV 기반 빈자리 복원 알고리즘을 구현한다.
• 표준 데이터셋에서 이 방법을 검증하고 최첨단 접근법과 비교하여, 단순함에도 불구하고 경쟁 가능한 성능을 보임을 입증한다.

실험 결과

연구 질문

• RQ1 왜 TV 기반 빈자리 복원 알고리즘은 이론적으로는 실패할 것으로 예측되지만 실제로는 올바른 해법으로 수렴하는가?
• RQ2 제약 조건의 순차적 적용이 블러 없음 해법에서 벗어나 진짜 해법으로 수렴하는 데 어떤 역할을 하는가?
• RQ3 고도화된 사전이나 필터링 없이도 단순한 알고리즘이 최첨단 방법과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 비용 기능의 구조와 제약 조건 처리 방식이 비볼록 빈자리 복원 문제에서 수렴에 어떤 영향을 미치는가?

주요 결과

• 이론적 분석을 통해 모든 제약 조건을 동시에 적용한 공동 최소화는 정규화 강도에 관계없이 블러 없음 해법으로 수렴함을 확인한다.
• 실제로 Chan과 Wong의 알고리즘 [8] 등이 성공하는 이유는 제약 조건을 동시에 적용하는 것이 아니라 순차적으로 적용하기 때문이며, 이는 알고리즘을 블러 없음 해법에 갇히게 하는 대칭성을 깨뜨린다.
• 블러 커널의 양성과 정규화를 순차적으로 적용하는 것으로도 충분히 진짜 해법으로의 수렴을 가능하게 하며, 추가 사전이나 필터링 없이도 TV 사전만으로도 성능을 달성할 수 있다.
• 필터링, 엣지 강화, 블러 커널 사전 등을 생략한 최소 구현 알고리즘은 표준 데이터셋에서 최첨단 방법과 경쟁 가능한 성능을 달성한다.
• 정확한 경계 조건이 성능 향상에 기여하며, 이 경우 입력 신호의 필터링된 버전은 바람직하지 않을 수 있음을 입증한다.