[論文レビュー] Subsampled Turbulence Removal Network

Wai Ho Chak, Chun Pong Lau+1 more|arXiv (Cornell University)|Jul 12, 2018

Advanced Image Processing Techniques被引用数 11

ひとこと要約

本論文では、大気乱流による映像劣化を復元するための、マルチフレーム入力とℓ₁損失を備えたWGANベースの深層学習モデル、Subsampled Turbulence Removal Network (TRN) を提案する。独自のデータ拡張法により現実的な乱流をシミュレートし、高品質なフレームを選択するためのサブサンプリング戦略を組み込むことで、限られた実データを用いた学習でも著しく復元性能が向上し、PSNRおよびSSIMの面で最先端の結果を達成した。

ABSTRACT

We present a deep-learning approach to restore a sequence of turbulence-distorted video frames from turbulent deformations and space-time varying blurs. Instead of requiring a massive training sample size in deep networks, we purpose a training strategy that is based on a new data augmentation method to model turbulence from a relatively small dataset. Then we introduce a subsampled method to enhance the restoration performance of the presented GAN model. The contributions of the paper is threefold: first, we introduce a simple but effective data augmentation algorithm to model the turbulence in real life for training in the deep network; Second, we firstly purpose the Wasserstein GAN combined with $\ell_1$ cost for successful restoration of turbulence-corrupted video sequence; Third, we combine the subsampling algorithm to filter out strongly corrupted frames to generate a video sequence with better quality.

研究の動機と目的

• 大気乱流によって引き起こされる深刻な幾何的歪みと時空間的に変化するぼやけを引き起こす映像シーケンスの復元という課題に対処すること。
• 実際の乱流による汚染データの不足を補うために、多様な乱流効果を合成的に生成する効果的なデータ拡張法を提案すること。
• 訓練済みのGANモデルにサブサンプリング戦略を統合することで、劣化が少ないフレームを選択し、出力品質を向上させることで、復元性能を向上させること。
• 乱流の明示的物理モデルに依存せずに、同時に幾何的歪みの除去とぼかしの軽減を実現する深層学習フレームワークを開発すること。
• 乱流影響を受ける映像シーケンスにおいて、GANベースのアプローチが同時にぼかし除去と幾何的補正を実現する可能性と有効性を示すこと。

提案手法

• 時間的整合性を活用して復元性能を向上させるために、マルチフレーム入力を用いたワッサーシュタインGAN（WGAN）を採用する。
• 清浄な画像にランダムで現実的な変形とぼかしを適用することで、合成された乱流を生成する新しいデータ拡張アルゴリズムを導入する。
• 構造的詳細の保持と特徴の忠実度向上を目的として、ℓ₁損失関数を用いる。
• 推論段階でサブサンプリング機構を適用し、著しく歪んだフレームをフィルタリングし、最も鮮明で劣化が少ないフレームのみをネットワークの入力として選択する。
• 大規模な実際の乱流データの必要性を減らすために、合成的に生成された乱流で拡張された少量の実データに依存する学習戦略を採用する。
• 複数の歪んだフレームを、1つの高品質でぼかしのない、幾何的に補正された出力画像にマッピングするようにモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 膨大な実データを必要とせずに、深層学習モデルが大気乱流によって劣化した映像シーケンスを効果的に復元できるか。
• RQ2 データ拡張をどのように活用すれば、幾何的歪みや時空間的に変化するぼやけを含む現実的な乱流効果を模倣できるか。
• RQ3 推論段階でサブサンプリング戦略を組み込むことで、乱流除去ネットワークにおける復元画像の品質が向上するか。
• RQ4 マルチフレーム入力とℓ₁損失を備えたWGANが、既存の手法に比べて幾何的歪みとぼかしの両方を効果的に抑制できるか。
• RQ5 SGL や IRIS といった最先端の手法と比較して、提案手法はアーティファクトをどれほど低減し、画像の詳細をどれほど保持できるか。

主な発見

• 提案されたTRNモデルは、比較対象のすべての手法の中で最高のPSNRとSSIMスコアを達成し、'building 3'シーケンスでは24.7 dBのPSNRと0.836のSSIMを記録した。
• 視覚的品質と定量的指標の両面で、SGL や IRIS 手法を上回り、ぼやけや幾何的歪みが少なくなることが確認された。
• 実世界の乱流シーケンスにおいて、サブサンプリングを適用したTRNは、適用しない場合に比べてはっきりとシャープな結果を示し、サブサンプリング戦略の有効性を裏付けた。
• データ拡張法は、1枚の清浄画像から多様で現実的な乱流効果を効果的に生成でき、最小限の実データで効果的な学習が可能になった。
• WGANにマルチフレーム入力とℓ₁損失を組み合わせることで、標準のGANに比べて学習の安定性が向上し、画像の詳細の保持がより良好になった。
• サブサンプリング手法により、劣化が最も少ないフレームのみを選択することで、ノイズと歪みを低減し、最終出力の復元性能が顕著に向上した。