[論文レビュー] Learning to Restore a Single Face Image Degraded by Atmospheric Turbulence using CNNs

Rajeev Yasarla, Vishal M. Patel|arXiv (Cornell University)|Jul 16, 2020

Advanced Image Processing Techniques参考文献 35被引用数 15

ひとこと要約

本稿では、大気乱流によって劣化した単一顔画像を復元するための深層学習フレームワーク、Turbulence Distortion Removal Network (TDRN) を提案する。本手法は、別個のネットワークを用いてぼかしと幾何的歪みの事前知識を推定し、信頼度マップを用いた一階および二階勾配の組み合わせによる新規損失関数を用いて復元を向上させる。実データおよび合成データにおいて、SOTAのPSNR（25.04 dB）を達成した。

ABSTRACT

Atmospheric turbulence significantly affects imaging systems which use light that has propagated through long atmospheric paths. Images captured under such condition suffer from a combination of geometric deformation and space varying blur. We present a deep learning-based solution to the problem of restoring a turbulence-degraded face image where prior information regarding the amount of geometric distortion and blur at each location of the face image is first estimated using two separate networks. The estimated prior information is then used by a network called, Turbulence Distortion Removal Network (TDRN), to correct geometric distortion and reduce blur in the face image. Furthermore, a novel loss is proposed to train TDRN where first and second order image gradients are computed along with their confidence maps to mitigate the effect of turbulence degradation. Comprehensive experiments on synthetic and real face images show that this framework is capable of alleviating blur and geometric distortion caused by atmospheric turbulence, and significantly improves the visual quality. In addition, an ablation study is performed to demonstrate the improvements obtained by different modules in the proposed method.

研究の動機と目的

• 時間情報が入手できない状況下で、大気乱流によって劣化した単一顔画像の復元という課題に対処すること。
• 画像系列に依存する既存手法の限界や、ぼかしと幾何的歪みを同時に処理できない手法の問題を克服すること。
• 具体的には、ぼかしと歪み事前知識を活用することで、単一フレームの乱流劣化顔画像の復元を向上させること。
• 一階および二階画像勾配と信頼度マップを統合した新規損失関数を設計し、エッジおよびテクスチャの回復を向上させること。
• 提案された事前知識および損失関数が、複数の復元アーキテクチャに一般化可能であることを実証すること。

提案手法

• 単一の乱流劣化顔画像からぼかし事前知識（b）と幾何的歪み事前知識（d）を推定するための、別個の畳み込みニューラルネットワーク（CNN）を訓練する。
• 不確実性推定のため、ぼかし除去ネットワークでモンテカルロドロップアウトを用い、信頼度マップとしてのエピステミック不確実性を推定する。
• ぼかし事前知識（b）および歪み事前知識（d）を、主な復元ネットワークTDRNの追加入力チャネルとして統合する。
• 水平方向、垂直方向、構造的勾配と信頼度マップを用いた勾配ベース損失 $\mathcal{L}_g$ を組み合わせた、新規の最終損失関数 $\mathcal{L}_{final}$ を提案する。
• TDRNを $\mathcal{L}_{final}$ を用いてエンドツーエンドに訓練し、忠実性、知覚的品質、シャープネスを同時に最適化する。
• 提案された事前知識（b および d）を他の最先端のぼかし除去ネットワーク（例：Pix2Pix、Kupyn et al.）に適用し、汎用性と性能向上を実証する。

実験結果

リサーチクエスチョン

• RQ1 時間系列情報が入手できない状況下で、深層学習フレームワークが大気乱流によって劣化した単一顔画像を効果的に復元できるか。
• RQ2 学習されたぼかしおよび幾何的歪み事前知識は、それらを備えない手法と比較して、復元品質の向上にどの程度効果的か。
• RQ3 一階および二階画像勾配と信頼度マップを統合することで、復元画像のシャープネスおよび視覚的品質がどの程度向上するか。
• RQ4 提案された事前知識および損失関数は、TDRNアーキテクチャを超えて既存の画像復元ネットワークの性能向上に一般化可能か。
• RQ5 各構成要素（事前知識、信頼度マップ、勾配ベース損失）が、全体の復元フレームワーク性能に果たす寄与度はどの程度か。

主な発見

• 提案されたTDRNフレームワークは、CelebAテストセットでPSNR 25.04 dBを達成し、ベースライン手法および最先端手法を顕著に上回った。
• ベースネットワークにぼかし事前知識（b）を追加するとPSNRが1.4 dB向上し、ぼかしと歪み事前知識（b および d）を両方追加するとさらに0.8 dB向上した。
• 完全な $\mathcal{L}_{final}$ 損失関数を用いることで、PSNRがさらに0.5 dB向上し、信頼度マップを用いた勾配ベース損失の有効性を示した。
• アブレーションスタディにより、各構成要素を順次追加するごとに画像品質が段階的に向上し、最良の結果は両方の事前知識と $\mathcal{L}_{final}$ を併用した場合に得られた。
• 他の最先端手法（例：Pix2Pix、Kupyn et al.）に対しても、b および d 事前知識を適用することでPSNRが約1 dB向上し、強力な汎用性を示した。
• 視覚的結果から、TDRNはぼかしと幾何的歪みを効果的に低減し、既存手法と比較してよりシャープで現実的である顔画像を生成していることが確認された。特に、実際の乱流劣化画像に対しても同様の効果が得られた。