[論文レビュー] Robust Blind Deconvolution via Mirror Descent

Sathya N. Ravi, Ronak Mehta+1 more|arXiv (Cornell University)|Mar 21, 2018

Sparse and Compressive Sensing Techniques参考文献 38被引用数 3

ひとこと要約

本稿では、鏡映降下を用いた新しいブラインドデコンボリューション手法PRIDAを提案する。この手法は、証明可能な収束性とノイズおよび摂動に対するロバスト性を達成しており、標準ベンチマークにおいて最先端の手法を上回る性能を示す。特にノイズが多い条件下でも、カーネル空間におけるアトミック更新により、1反復あたりの計算量を低く抑えている。

ABSTRACT

We revisit the Blind Deconvolution problem with a focus on understanding its robustness and convergence properties. Provable robustness to noise and other perturbations is receiving recent interest in vision, from obtaining immunity to adversarial attacks to assessing and describing failure modes of algorithms in mission critical applications. Further, many blind deconvolution methods based on deep architectures internally make use of or optimize the basic formulation, so a clearer understanding of how this sub-module behaves, when it can be solved, and what noise injection it can tolerate is a first order requirement. We derive new insights into the theoretical underpinnings of blind deconvolution. The algorithm that emerges has nice convergence guarantees and is provably robust in a sense we formalize in the paper. Interestingly, these technical results play out very well in practice, where on standard datasets our algorithm yields results competitive with or superior to the state of the art. Keywords: blind deconvolution, robust continuous optimization

研究の動機と目的

• ノイズおよび摂動に対して証明可能な収束性とロバスト性を保証するブラインドデコンボリューションアルゴリズムの開発。
• 全変動（total variation）に基づくブラインドデコンボリューション手法における収束性およびロバスト性に関する理論的理解の不足を解消すること。
• 特に敵対的攻撃やミッションクリティカルな状況において、深層学習ベースのデブラーイングモデルの評価に第一原理的な基盤を提供すること。
• 確率単体上でのアトミック更新を用いることで、投影演算にかかるコストを回避する効率的な最適化スキームの設計。
• 標準的なデブラーイングベンチマークにおいて、特にノイズが多い条件下で最先端の手法を実用的に上回ることの実証。

提案手法

• ブレーキング・ディバージェンスとしてKullback-Leibler（KL）ダイバージェンスを用いた鏡映降下を採用し、ブラー・カーネルの確率単体上での最適化を実現。
• ブラインドデコンボリューション問題を、全変動正則化項とデータ適合項を含む非凸・非滑らか最適化問題として定式化。
• KLダイバージェンスの強い凸性を活用して目的関数の下界を導出し、収束保証を可能にした。
• カーネルに対して座標単位の更新を実施し、その後正規化を行うことで、O(s)の1反復あたりの計算量を達成。投影ベース手法に必要なO(s log s)よりも低コスト。
• プライマル・ダウアルの観点からアルゴリズムを導出し、鏡映降下フレームワークの降下性質を用いて収束を証明。
• 観測画像の摂動に対する安定性を安定性バウンドとして形式化し、KLダイバージェンスの性質を用いて理論的保証を導出した。

実験結果

リサーチクエスチョン

• RQ1 ノイズおよび摂動に対して証明可能な収束性とロバスト性を備えたブラインドデコンボリューションアルゴリズムを設計可能か？
• RQ2 KLダイバージェンスをBregmanダイバージェンスとして用いた鏡映降下は、ブラインドデコンボリューションにおける収束性と安定性をどのように向上させるか？
• RQ3 O(s log s)未満の1反復あたりの計算量を実現しつつ、性能を維持できるか？
• RQ4 クリーンな画像とノイズのある画像の両条件下で、最先端の手法と比較してどのように性能を発揮するか？
• RQ5 第一原理からの理論的保証は、深層学習ベースのデブラーイングパイプラインの信頼性をどの程度向上させ得るか？

主な発見

• PRIDAは、標準的な画像プリオンを除き追加仮定なしに、証明可能な収束性とノイズおよび摂動に対するロバスト性を達成している。
• 標準ベンチマーク上、クリーンな条件下では最先端の手法と同等またはそれを上回り、ノイズが多い条件下では顕著に優れた性能を示した。
• アトミック更新と正規化を用いることで、1反復あたりの計算量がO(s)に抑えられ、投影ベース手法に必要な高コストなソーティング処理を回避した。
• 理論的分析により、KLダイバージェンスを用いた鏡映降下フレームワークが、最良の既知の最適化結果と一致する強い収束保証を提供することが示された。
• 実験的結果から、PRIDAが敵対的ノイズおよび現実のブラーに対して耐性を示すことが確認され、ミッションクリティカルな応用に適していることが示された。
• 本手法は効率的に実装されており、公開のGitHubリポジトリを通じて入手可能であり、インタラクティブなデブラーイングパイプラインへの統合が可能である。