[論文レビュー] Imaging through the Atmosphere using Turbulence Mitigation Transformer

Xingguang Zhang, Zhiyuan Mao+2 more|arXiv (Cornell University)|Jul 13, 2022

Advanced Image Processing Techniques被引用数 4

ひとこと要約

本稿では、物理ベースの劣化モデル、効率的な特徴抽出のための新規時間-チャネル連携アテンション機構、および高速かつ高精度な乱流シミュレータを統合した深層学習フレームワーク、Turbulence Mitigation Transformer (TMT) を提案する。TMT は、合成データのみで訓練された場合でも、実世界の乱流データにおいて最先端の性能を達成し、一般化性能、速度、メモリ効率の面で既存手法を上回る。特に、実世界の乱流データへの一般化性能が顕著に優れている。

ABSTRACT

Restoring images distorted by atmospheric turbulence is a ubiquitous problem in long-range imaging applications. While existing deep-learning-based methods have demonstrated promising results in specific testing conditions, they suffer from three limitations: (1) lack of generalization capability from synthetic training data to real turbulence data; (2) failure to scale, hence causing memory and speed challenges when extending the idea to a large number of frames; (3) lack of a fast and accurate simulator to generate data for training neural networks. In this paper, we introduce the turbulence mitigation transformer (TMT) that explicitly addresses these issues. TMT brings three contributions: Firstly, TMT explicitly uses turbulence physics by decoupling the turbulence degradation and introducing a multi-scale loss for removing distortion, thus improving effectiveness. Secondly, TMT presents a new attention module along the temporal axis to extract extra features efficiently, thus improving memory and speed. Thirdly, TMT introduces a new simulator based on the Fourier sampler, temporal correlation, and flexible kernel size, thus improving our capability to synthesize better training data. TMT outperforms state-of-the-art video restoration models, especially in generalizing from synthetic to real turbulence data. Code, videos, and datasets are available at \href{https://xg416.github.io/TMT}{https://xg416.github.io/TMT}.

研究の動機と目的

• 深層学習ベースの画像修復において、合成データから実データへの一般化の欠如を解消すること。
• マルチフレーム動画修復用トランスフォーマーにおけるメモリおよび速度制限を克服すること。
• 大規模なトレーニングデータ生成のため、高速で高精度かつ物理的に根拠のあるシミュレータを開発すること。
• 歪みの物理的性質を直接モデル化するためのニューラルネットワークアーキテクチャを設計すること、具体的には、傾き補正（de-tilting）とぼかし除去（de-blurring）の分解を含むこと。
• 完全に合成データでの学習に依存して、実世界の乱流劣化シーケンスをブラインドで修復することを可能にすること。

提案手法

• TMT は、波面の傾き補正（de-tilting）と空間的に変化するぼかしの除去（de-blurring）を段階的に処理することで、物理的妥当性と一般化性能を向上させる二段階の修復タスクに分解する。
• 時間軸に沿った自己アテンションを適用する時間-チャネル連携アテンション（TCJA）モジュールを導入し、メモリ使用量を削減するとともに、より長い有効フレームシーケンスの処理を可能にする。
• 複数スケールの損失関数を採用し、複数の解像度で学習を監視することで、特徴抽出の質と耐障害性を向上させる。
• 密度場シミュレーションにフーリエベースのサンプリングを用いた新規な乱流シミュレータを提案し、時間的相関性と柔軟なカーネルサイズを組み込み、リアリズムとトレーニングデータの多様性を向上させる。
• このシミュレータにより、補間やヒューリスティックな近似を一切用いずに、高速で高精度かつスケーラブルに合成乱流データを生成可能である。
• TMT は合成データ上で教師あり学習を行い、実世界のシーケンスに対して微調整なしに評価される。これにより、優れたゼロショット一般化性能が示された。

実験結果

リサーチクエスチョン

• RQ1 合成乱流データのみで学習したディープラーニングモデルは、実世界の乱流劣化に効果的に一般化できるか？
• RQ2 長時間の動画シーケンスにおいて性能を維持しつつ、メモリ消費量を削減するためのアテンション機構をどのように再設計できるか？
• RQ3 具体的には、傾き補正とぼかし除去という乱流の物理的性質のモデル化が、修復精度と一般化性能に果たす役割は何か？
• RQ4 高品質で多様なトレーニングデータを生成するため、高速で物理的に正確なシミュレータを設計できるか？
• RQ5 提案されたマルチスケール監視と TCJA アテンション機構は、標準的な動画修復トランスフォーマーと比較して、速度、メモリ使用量、性能の面でどのように差をつけるか？

主な発見

• TMT は実世界の乱流シーケンスにおいて、PSNR 28.4543、SSIM 0.8539、LPIPS 0.1640 の性能を達成し、VRT や TSRWGAN といった最先端手法を上回った。
• 微調整なしに実世界データに良好に一般化され、合成データでのみ学習したにもかかわらず、強力なゼロショット能力を示した。
• 時間-チャネル連携アテンション（TCJA）機構により、メモリ使用量が削減され、標準的な動画トランスフォーマーよりも長いフレームシーケンスの処理が可能になった。
• 提案されたシミュレータは、向上した時間的相関性とカーネルサイズの柔軟性を備えた高精細な密度場乱流データを生成でき、トレーニングデータの多様性が向上した。
• CLEAR [4] や Mao et al. [5] といった従来手法に比べ、TMT は視覚的品質が高く、よりシャープで自然な再構成が得られ、詳細の保持も優れていた。
• 合成データで微調整した場合、TSRWGAN は実世界データセットにおいて顕著な性能向上を示した。これにより、本研究で提示された合成データの分布の価値が裏付けられた。