[論文レビュー] DeepDeblur: Fast one-step blurry face images restoration

Lingxiao Wang, Yali Li+1 more|arXiv (Cornell University)|Nov 27, 2017

Advanced Image Processing Techniques参考文献 26被引用数 9

ひとこと要約

本論文では、従来の2段階のカーネル推定とデコンボリューションを回避する、高速かつ効果的なぼやけた顔画像の復元を目的とした1ステップの畳み込みニューラルネットワーク（CNN）であるDeepDeblurを提案する。滑らかさと顔の同一性を正則化した多様でランダムに生成されたぼかしカーネルで学習させることで、小サイズの顔画像において最先端の性能を達成し、顔認識の正確性を100倍以上高速化しながらも、高いPSNRと認証正確性を維持する。

ABSTRACT

We propose a very fast and effective one-step restoring method for blurry face images. In the last decades, many blind deblurring algorithms have been proposed to restore latent sharp images. However, these algorithms run slowly because of involving two steps: kernel estimation and following non-blind deconvolution or latent image estimation. Also they cannot handle face images in small size. Our proposed method restores sharp face images directly in one step using Convolutional Neural Network. Unlike previous deep learning involved methods that can only handle a single blur kernel at one time, our network is trained on totally random and numerous training sample pairs to deal with the variances due to different blur kernels in practice. A smoothness regularization as well as a facial regularization are added to keep facial identity information which is the key to face image applications. Comprehensive experiments demonstrate that our proposed method can handle various blur kenels and achieve state-of-the-art results for small size blurry face images restoration. Moreover, the proposed method shows significant improvement in face recognition accuracy along with increasing running speed by more than 100 times.

研究の動機と目的

• 2段階のブラインドデブラー法の限界を解決する。特に、小サイズでコントラストが低い顔画像では遅く、失敗することがある。
• 深層学習ベースのデブラーにおける一般化の障壁を克服する。通常、固定または特定のぼかしカーネルにのみ対応している。
• 顔認識の性能向上を目的として、デブラー処理中に顔の同一性を保持する。
• 従来の手法よりも著しく高速化することで、顔認識システムにおけるリアルタイムでのデブラー適用を可能にする。

提案手法

• 1ステップのエンドツーエンド推論で多様なぼかしカーネルを処理できる、インセプションモジュールを備えたマルチスケール深層残差ネットワークを提案する。
• 多様なぼかしタイプに一般化できるように、ランダムに生成されたぼかしカーネルと対応するシャープ画像のペアからなる大規模データセットでネットワークを学習する。
• 滑らかさのための全変動（TV）正則化と、同一性に関連する特徴を保持するための顔構造損失の2つの正則化項を導入する。
• モデルサイズを約40％削減しながら性能に影響を与えないように、深さ方向分離畳み込みを採用する。
• L2損失 + TV損失 + 顔の同一性損失の組み合わせ損失関数を採用し、テクスチャの忠実性と同一性保持のバランスをとるために重みを動的に調整する。
• 反復的なカーネル推定や後処理の必要性を排除し、直接1ステップ推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 事前にカーネル推定を行わず、未知のぼかしカーネルの広い範囲にわたってぼやけた顔画像を復元できる1つのCNNを学習可能か？
• RQ2 顔認識の正確性を向上させるために、画像のデブラー処理中に顔の同一性をどのように保持できるか？
• RQ3 小サイズの顔画像において、1ステップのディープラーニング手法が2段階のデブラー手法を速度と品質の両面で上回れるか？
• RQ4 過剰に滑らかになることやアーティファクトを防ぐために、最も効果的な正則化戦略は何か？
• RQ5 ランダムに生成されたカーネルで学習したモデルが、トレーニング時に見られなかったぼかしタイプ（例：線形運動ぼかし）にもどれほど一般化できるか？

主な発見

• LFWデータセットにおいて、復元後の顔認証正確性が97.75％に達し、ぼやけた入力（22.83％正確性）や他の最先端手法を大きく上回った。
• LFWベンチマークにおいて、モデルはPSNRが25.63 dBでぼやけた画像を復元し、画像品質の向上が顕著に示された。
• 従来のデブラーアルゴリズムよりも100倍以上高速に動作し、リアルタイムの顔認識アプリケーションに適している。
• トレーニング時に見られなかった線形運動ぼかしカーネル（L=15, 角度=45°）でも、妥当な結果が得られ、高いPSNRを示し、強力な一般化能力を示した。
• アブレーションスタディでは、深さ方向分離畳み込みを削除すると、PSNRが2.58 dB低下し、認証正確性が9.25％低下した。これにより、効率性と性能への重要性が裏付けられた。
• 最適な正則化重み（α/β ≈ 1）は、テクスチャの詳細と滑らかさのバランスを取る。極端な値はアーティファクトや過剰な滑らかさを引き起こし、ハイパーパramータの慎重な調整の必要性を確認した。