[論文レビュー] Efficient Unpaired Image Dehazing with Cyclic Perceptual-Depth Supervision

Chen Liu, Jiaqi Fan+1 more|arXiv (Cornell University)|Jul 10, 2020

Image Enhancement Techniques参考文献 23被引用数 8

ひとこと要約

本論文は、サイクル的知覚深度監視とオクターブ畳み込みに基づくデュアルパスバックボーンを用いた、効率的なペairedでない画像の霞消し手法を提案する。NYU Depth V2で20.36のPSNRを達成し、FLOPsを削減しながらも、深度境界でのはっきりした除去を改善することで、先行するペアードでない霞消しモデルを著しく上回った。

ABSTRACT

Image dehazing without paired haze-free images is of immense importance, as acquiring paired images often entails significant cost. However, we observe that previous unpaired image dehazing approaches tend to suffer from performance degradation near depth borders, where depth tends to vary abruptly. Hence, we propose to anneal the depth border degradation in unpaired image dehazing with cyclic perceptual-depth supervision. Coupled with the dual-path feature re-using backbones of the generators and discriminators, our model achieves $\mathbf{20.36}$ Peak Signal-to-Noise Ratio (PSNR) on NYU Depth V2 dataset, significantly outperforming its predecessors with reduced Floating Point Operations (FLOPs).

研究の動機と目的

• 急激な深度境界付近で性能が低下するペアードでない画像の霞消しの問題に取り組む。ここでは、従来手法が残留霞に苦しむ。
• ペアードの晴れ画像を必要とせずに、シーンの深度情報をペアードでない霞消しに統合する。
• 軽量でデュアルパス特徴表現バックボーンを用いることで、計算コストを低減しながらも、霞消しの品質を向上させる。
• サイクル的知覚深度監視を用いて、復元された出力の現実性と一貫性を向上させる。
• 既存のペアードでない霞消しモデルと比較して、より低いFLOPsで最先端の性能を達成する。

提案手法

• ペアードデータが不要な状態で、霞のある画像を晴れ画像にマッピングするため、サイクル生成対抗ネットワーク（CycleGAN）ベースのフレームワークにサイクル一貫性損失を適用する。
• オクターブ畳み込みにインspiredされたデュアルパス特徴再利用バックボーンを導入し、高・低空間周波数特徴を分離することで、効率的な表現を実現する。
• 事前学習済みの単眼深度推定ネットワークを用いて、サイクル的知覚深度一貫性損失を適用し、モデルが深度に敏感な霞消しを学習するように誘導する。
• すべての5段階で計算されるResNet50ベースの知覚損失を用い、生成画像の構造的現実性を向上させる。
• 訓練の安定性と特徴学習の向上を図るため、識別器にスペクトル正規化を組み込む。
• サイクル一貫性、アイデンティティマッピング、知覚損失、SSIM、およびサイクル的深度一貫性損失を組み合わせ、強固な最適化を実現する。

実験結果

リサーチクエスチョン

• RQ1 サイクル的知覚深度監視は、従来のペアードでない手法が失敗する深度境界での霞消し性能を向上させることができるか？
• RQ2 オクターブ畳み込みによるデュアルパス特徴表現は、FLOPsを削減しながらも霞消し品質を向上させることができるか？
• RQ3 ペアードでない霞消しにおいて、サイクル的深度一貫性損失はSSIMや標準的な知覚損失と比較して優れているか？
• RQ4 共有特徴パスを有する軽量バックボーンは、パrameter数を減らし、FLOPsを低減しながらも最先端の性能を達成できるか？
• RQ5 ペアードデータがなくても、深度監視の統合により、復元出力の現実性と一貫性が向上するか？

主な発見

• 提案モデルはNYU Depth V2データセットで20.36のPSNRを達成し、再実装したCycle-dehaze（16.15）に対して4.91のPSNR向上、オリジナルのCycle-dehaze（15.41）に対しては4.95のPSNR向上を達成した。
• サイクル的知覚深度損失は、ベースラインモデルと比較してPSNRで6.64%、SSIMで8.22%の向上を示し、SSIMや標準的知覚損失を上回った。
• 生成器および識別器にオクターブ畳み込みを適用することで、標準畳み込みと比較してPSNRが12.00%向上、SSIMが5.33%向上した。
• 識別器にスペクトル正規化を追加することで、さらなる性能向上が確認され、訓練安定性におけるその役割が裏付けられた。
• わずか6つのオクターブ畳み込みブロックで、オリジナルのCycle-dehaze（9ブロック）を上回る優れた結果を達成した。これは、より高い効率性を示している。
• 定性的な結果から、本手法は、机の下やエッジ付近などの深度境界で、従来モデルが残す残留霞を効果的に除去できていることがわかった。