[논문 리뷰] Robust Blind Deconvolution via Mirror Descent

Sathya N. Ravi, Ronak Mehta외 1명|arXiv (Cornell University)|2018. 03. 21.

Sparse and Compressive Sensing Techniques참고 문헌 38인용 수 3

한 줄 요약

이 논문은 거울 강하(mirror descent) 기반의 새로운 블라인드 디컨볼루션 알고리즘인 PRIDA를 제안하며, 증명 가능한 수렴성과 노이즈 및 교란에 대한 강건성을 확보한다. 표준 벤치마크에서 최신 기법들을 능가하며, 특히 노이즈 조건 하에서도 성능이 뛰어나며, 커널 공간에서 원자적 업데이트를 통해 반복 복잡도를 낮춘다.

ABSTRACT

We revisit the Blind Deconvolution problem with a focus on understanding its robustness and convergence properties. Provable robustness to noise and other perturbations is receiving recent interest in vision, from obtaining immunity to adversarial attacks to assessing and describing failure modes of algorithms in mission critical applications. Further, many blind deconvolution methods based on deep architectures internally make use of or optimize the basic formulation, so a clearer understanding of how this sub-module behaves, when it can be solved, and what noise injection it can tolerate is a first order requirement. We derive new insights into the theoretical underpinnings of blind deconvolution. The algorithm that emerges has nice convergence guarantees and is provably robust in a sense we formalize in the paper. Interestingly, these technical results play out very well in practice, where on standard datasets our algorithm yields results competitive with or superior to the state of the art. Keywords: blind deconvolution, robust continuous optimization

연구 동기 및 목표

• 노이즈 및 교란 조건 하에서도 증명 가능한 수렴성과 강건성 보장을 갖춘 블라인드 디컨볼루션 알고리즘을 개발하기.
• 전체 미분 기반 블라인드 디컨볼루션 방법의 수렴성 및 강건성에 대한 이론적 이해 부족 문제를 해결하기.
• 특히 적대적 환경 및 임무 핵심 설정에서 딥 러닝 기반 복원 모델 평가를 위한 최초의 원리 기반 기반을 제공하기.
• 확률 단체 위에서 원자적 업데이트를 사용함으로써 투영 연산을 피하는 효율적인 최적화 기법 설계하기.
• 특히 노이즈 조건 하에서 표준 디컨볼루션 벤치마크에서 최신 기법들보다 실용적으로 뛰어난 성능을 보여주기.

제안 방법

• 블러 커널에 대해 확률 단체 위에서 최적화하기 위해 Kullback-Leibler (KL) 발산을 Bregman 발산으로 사용하는 거울 강하 알고리즘을 적용한다.
• 블라인드 디컨볼루션 문제를 총 미분 기반 정규화와 데이터 일치 항을 포함한 비볼록, 비연속 최적화 문제로 공식화한다.
• KL 발산의 강력한 볼록성 덕분에 목적 함수의 하한을 유도하여 수렴 보장을 도출한다.
• 커널에 대해 좌표별 업데이트 전략을 사용하고, 이후 정규화를 수행함으로써 O(s)의 반복 복잡도를 달성하며, O(s log s)보다 낮춘다.
• 알고리즘은 원시-이중 시각에서 유도되며, 거울 강하 프레임워크의 내림함수 성질을 통해 수렴성을 증명한다.
• 관측 이미지의 교란 조건 하에서의 안정성은 안정성 경계를 통해 공식화되며, KL 발산 성질을 활용해 이론적 보장을 도출한다.

실험 결과

연구 질문

• RQ1 노이즈 및 교란 조건 하에서도 증명 가능한 수렴성과 강건성을 갖춘 블라인드 디컨볼루션 알고리즘을 설계할 수 있는가?
• RQ2 KL 발산을 Bregman 발산으로 사용하는 거울 강하는 블라인드 디컨볼루션에서 수렴성과 안정성을 어떻게 향상시키는가?
• RQ3 성능을 유지하면서도 반복 복잡도를 O(s log s) 이하로 낮출 수 있는가?
• RQ4 청결한 이미지 조건과 노이즈가 있는 이미지 조건 하에서 최신 기법들과의 성능 비교는 어떻게 이루어지는가?
• RQ5 원리 기반 이론적 보장은 딥 러닝 기반 복원 파ipelines의 신뢰성에 얼마나 기여하는가?

주요 결과

• PRIDA는 표준 이미지 사전 조건 이외의 추가 가정 없이도 증명 가능한 수렴성과 노이즈 및 교란에 대한 강건성을 확보한다.
• 표준 벤치마크에서 청결 조건 하에서는 최신 기법들과 경쟁력 있는 성능을 보이며, 노이즈 조건 하에서는 그들을 뛰어넘는 성능을 기록한다.
• 원자적 업데이트와 정규화를 통해 반복 복잡도를 O(s)로 유지함으로써, 투영 기반 방법에서 요구하는 비용이 큰 정렬 연산을 피한다.
• 이론적 분석 결과, KL 발산을 사용하는 거울 강하 프레임워크는 강력한 수렴 보장을 보장하며, 최적화 분야에서 알려진 최고 수준의 결과를 달성한다.
• 실험 결과는 PRIDA가 적대적 노이즈와 실제 블러에 뛰어난 내성을 보이며, 임무 핵심 응용 분야에 적합함을 확인한다.
• 이 방법은 효율적으로 구현되었으며, 공개 GitHub 리포지토리에서 제공되어 인터랙티브 디컨볼루션 파이프라인에의 통합을 가능하게 한다.