[論文レビュー] Deep Algorithm Unrolling for Blind Image Deblurring

Yuelong Li, Mohammad Tofighi+3 more|arXiv (Cornell University)|Feb 9, 2019

Advanced Image Processing Techniques参考文献 69被引用数 16

ひとこと要約

本稿では、盲目的画像復帰の反復的アルゴリズムをアンローリングすることで得られる、深層学習に基づくニューラルネットワークアーキテクチャであるDUBLID（Deep Unrolling for Blind Deblurring）を提案する。伝統的な最適化手法の解釈可能性と深層学習の性能向上を統合し、学習データからアルゴリズムの重要なパラメータを学習することで、従来の反復的手法よりも高速な推論を実現しながら、最先端の復元性能を達成する。

ABSTRACT

Blind image deblurring remains a topic of enduring interest. Learning based approaches, especially those that employ neural networks have emerged to complement traditional model based methods and in many cases achieve vastly enhanced performance. That said, neural network approaches are generally empirically designed and the underlying structures are difficult to interpret. In recent years, a promising technique called algorithm unrolling has been developed that has helped connect iterative algorithms such as those for sparse coding to neural network architectures. However, such connections have not been made yet for blind image deblurring. In this paper, we propose a neural network architecture based on this idea. We first present an iterative algorithm that may be considered as a generalization of the traditional total-variation regularization method in the gradient domain. We then unroll the algorithm to construct a neural network for image deblurring which we refer to as Deep Unrolling for Blind Deblurring (DUBLID). Key algorithm parameters are learned with the help of training images. Our proposed deep network DUBLID achieves significant practical performance gains while enjoying interpretability at the same time. Extensive experimental results show that DUBLID outperforms many state-of-the-art methods and in addition is computationally faster.

研究の動機と目的

• 従来の反復的盲目的画像復元手法の限界に取り組むこと。これらの手法は、手作業で設計された正則化項に強く依存しており、多くの反復回数を要する。
• 既存の深層学習ベースの復元ネットワークのブラックボックス性を克服し、モデル駆動で解釈可能なアーキテクチャを導入すること。
• 盲目的画像復元の反復的アルゴリズムをアンロールした、微分可能なニューラルネットワーク構造を設計し、学習可能なパラメータを用いたエンド・ツー・エンドの訓練を可能にすること。
• アルゴリズムのアンロールを通じて、計算効率と解釈可能性を保ちながら、高い復元性能を達成すること。

提案手法

• 盲目的画像復元の反復的アルゴリズムを、勾配ドメインにおける全変動正則化の一般化として定式化する。
• アルゴリズムを深層ニューラルネットワークのアーキテクチャDUBLIDにアンロールし、各層がアルゴリズムの1反復に対応する。
• 正則化重みやしきい値レベルなどの重要なアルゴリズムパラメータを学習可能とし、学習データ上でバックプロパゲーションにより最適化する。
• 周波数ドメインにおける学習可能なフィルタとソフトしきい値処理を導入し、勾配ドメインにおけるスパarsityを促進する。
• シャープな画像の再構築とブラー核の推定を交互に繰り返す、階層的な層の構造を採用し、微分可能な演算によりエンド・ツー・エンドの訓練を可能にする。
• チェーン・ルールと複素数微分を用いて、アンロールされた層を介してバックプロパゲーションを適用し、学習可能なパラメータを更新する。

実験結果

リサーチクエスチョン

• RQ1 アルゴリズムアンロールが、これまでこのフレームワークで取り扱われてこなかった盲目的画像復元問題に効果的に拡張可能か？
• RQ2 優れた復元性能を達成しつつ、解釈可能性を保つように設計された深層ニューラルネットワークは、どのように構築可能か？
• RQ3 アンロールされたアルゴリズムにおける学習可能なパラメータが、一般化性能と速度の面で手作業で設計された正則化項を上回るか？
• RQ4 従来の反復的ソルバーよりも、アンロールドネットワークアーキテクチャが反復回数をどの程度削減できるか？
• RQ5 事前にブラー核の構造に関する仮定を置かずに、多様なブラー種別に対して本手法がロバスト性を維持できるか？

主な発見

• DUBLIDはベンチマークデータセットで最先端の性能を達成し、PSNRおよびSSIM指標において、従来の反復的手法および先行する深層学習ベースの手法を上回る。
• 従来の反復的ソルバーよりも著しく高速に収束し、高品質な結果を得るにはわずか8～12層の小さなネットワークで十分である。
• モーションブラーおよびディフォーカスブラーを含む多様なブラー種別に対して、ブラー固有のアーキテクチャ変更なしに優れた一般化性能を示す。
• DUBLIDの解釈可能性は保持されており、各層が最適化アルゴリズムにおける明確に定義されたステップに対応しているため、学習されたパラメータの分析が可能である。
• アブレーションスタディの結果、固定パラメータベースラインと比較して、学習可能なパラメータを備えたアンロールドアーキテクチャが一貫した性能向上をもたらすことが確認された。
• 推論速度が競争力を持っており、モバイルおよび組み込みプラットフォームにおけるリアルタイム応用に適している。