[論文レビュー] AT-DDPM: Restoring Faces degraded by Atmospheric Turbulence using Denoising Diffusion Probabilistic Models

Nithin Gopalakrishnan Nair, Kangfu Mei+1 more|arXiv (Cornell University)|Aug 24, 2022

Advanced Image Processing Techniques被引用数 9

ひとこと要約

本稿では、大気乱流によって劣化した顔画像を復元するための、初めてのドレーニング拡散確率的モデル（DDPM）ベースの手法であるAT-DDPMを提案する。クリアな顔画像で事前学習されたDDPMを活用し、段階的な訓練を通じた知識蒸留を適用することで、新しい効率的なサンプリング戦略を用いて歪んだ入力画像から出発する逆拡散プロセスを実現し、合成および実世界のデータセットで最先端の性能を達成する、現実的で高精細な顔画像の再構成を学習する。

ABSTRACT

Although many long-range imaging systems are designed to support extended vision applications, a natural obstacle to their operation is degradation due to atmospheric turbulence. Atmospheric turbulence causes significant degradation to image quality by introducing blur and geometric distortion. In recent years, various deep learning-based single image atmospheric turbulence mitigation methods, including CNN-based and GAN inversion-based, have been proposed in the literature which attempt to remove the distortion in the image. However, some of these methods are difficult to train and often fail to reconstruct facial features and produce unrealistic results especially in the case of high turbulence. Denoising Diffusion Probabilistic Models (DDPMs) have recently gained some traction because of their stable training process and their ability to generate high quality images. In this paper, we propose the first DDPM-based solution for the problem of atmospheric turbulence mitigation. We also propose a fast sampling technique for reducing the inference times for conditional DDPMs. Extensive experiments are conducted on synthetic and real-world data to show the significance of our model. To facilitate further research, all codes and pretrained models are publically available at http://github.com/Nithin-GK/AT-DDPM

研究の動機と目的

• 大気乱流によって引き起こされるぼやけや幾何的歪みによって劣化した顔画像の復元という課題に対処すること。
• 従来のCNNおよびGANベースの手法に見られる、訓練の不安定性、モード崩壊、実世界データにおける一般化性能の低さといった制限を克服すること。
• ドレーニング拡散確率的モデル（DDPM）が、画像復元のための安定的かつ高品質な生成事前分布としての可能性を検証すること。
• 純粋なノイズからではなく、歪んだ画像から出発する新しいサンプリング戦略を用いることで、DDPMに一般的に見られる遅い推論時間を短縮すること。
• 継続的学習に基づく知識蒸留フレームワークを用いて、強い乱流下でも再構成の忠実性とアイデンティティ保持を向上させること。

提案手法

• 大規模なクリアな顔画像データセット上で、事前学習済みのDDPMを知識蒸留により微調整し、顔画像のスーパーエンケージョンを実行する。
• スーパーエンケージョンモデルをさらに知識蒸留により変更し、乱流入力に対してクリアな顔画像の条件付き分布を学習する。
• 段階的訓練（PT）フレームワークを導入し、徐々にモデルを復元タスクに適応させることで、訓練の安定性と再構成品質を向上させる。
• 逆拡散プロセスを純粋なガウスノイズではなく、歪んだ入力画像から開始する効率的なサンプリング戦略を提案する。これにより、アイデンティティの一貫性が向上する。
• 生成された顔が、強い乱流下でも入力と同様の顔の構造に近づくように、特徴の一貫性を強制する。
• 学習された現実的顔の多様体を活用することで、入力が重度に劣化していても、写真のようにリアルな出力を生成する。

Figure 2 : An overview of the proposed approach, during the training process, we perform knowledge distillation to transfer class prior information from a network trained for image super-resolution on a large dataset to the network for removing turbulence degradation. During inference, rather than s

実験結果

リサーチクエスチョン

• RQ1 DDPMは、顔画像における単一画像の気象的乱流低減に、効果的に生成事前分布として適応可能か？
• RQ2 段階的知識蒸留は、乱流入力に対するDDPMベースの画像復元の品質と安定性をどのように向上させるか？
• RQ3 純粋なノイズではなく、乱流画像から逆拡散プロセスを開始することで、アイデンティティ保持の向上と推論時間の短縮が達成されるか？
• RQ4 GANベースおよびCNNベースのアプローチと比較して、本手法は実世界データにおける視覚的品質、忠実性、耐性の観点でどのように優れているか？
• RQ5 効率的なサンプリング戦略は、推論速度と出力の一貫性にどのような影響を与えるか？

主な発見

• 提案されたAT-DDPMモデルは、合成データセット（LRFID）および実世界データセット（BRIAR）の両方で最先端の性能を達成し、視覚的品質と構造的忠実性の両面で既存手法を上回っている。
• LRFIDデータセットでは、段階的訓練を用いることで、トップ1顔認識精度が48.7％から54.8％に顕著に向上した。
• 段階的訓練なしの状態ではNIQE（非参照画像品質指標）が6.985であったが、段階的訓練を施すことで6.824に低下し、より良い知覚的品質を示している。
• LPIPSスコアは0.5358から0.5255に低下し、再構成画像と正解画像との間の知覚的類似性が向上していることが示された。
• 効率的なサンプリング戦略により推論時間が短縮されつつも、高品質な出力を維持しており、顔認識精度の誤差棒分析を通じて妥当性が裏付けられた。
• 定性的な結果から、GFPGAN、LTTGAN、ATNetと比較して、AT-DDPMは顔のアイデンティティをよりよく保持しており、色のずれやアーチファクトの発生を回避している。

(a) Distorted