[論文レビュー] Learning Aggregated Transmission Propagation Networks for Haze Removal and Beyond

Risheng Liu, Xin Fan+4 more|arXiv (Cornell University)|Nov 18, 2017

Image Enhancement Techniques被引用数 5

ひとこと要約

本稿では、単一画像の霞まし除去のための物理的事前知識とデータ駆動学習を統合する新しい深層残差アーキテクチャであるDeep Propagation Aggregation Transmission Networks (DPATN)を提案する。変分エネルギーに基づく枠組みを用いて透過率の伝播をモデル化することで、DPATNは、軽量な学習スキームとグローバル収束保証を備え、霧除去、水中強調、雨除去の分野で最先端の性能を達成する。

ABSTRACT

Single image dehazing is an important low-level vision task with many applications. Early researches have investigated different kinds of visual priors to address this problem. However, they may fail when their assumptions are not valid on specific images. Recent deep networks also achieve relatively good performance in this task. But unfortunately, due to the disappreciation of rich physical rules in hazes, large amounts of data are required for their training. More importantly, they may still fail when there exist completely different haze distributions in testing images. By considering the collaborations of these two perspectives, this paper designs a novel residual architecture to aggregate both prior (i.e., domain knowledge) and data (i.e., haze distribution) information to propagate transmissions for scene radiance estimation. We further present a variational energy based perspective to investigate the intrinsic propagation behavior of our aggregated deep model. In this way, we actually bridge the gap between prior driven models and data driven networks and leverage advantages but avoid limitations of previous dehazing approaches. A lightweight learning framework is proposed to train our propagation network. Finally, by introducing a taskaware image separation formulation with a flexible optimization scheme, we extend the proposed model for more challenging vision tasks, such as underwater image enhancement and single image rain removal. Experiments on both synthetic and realworld images demonstrate the effectiveness and efficiency of the proposed framework.

研究の動機と目的

• 特定の画像において仮定（例：暗チャネル、霧ライン）が成り立たない場合に失敗する従来の事前知識駆動型の霧まき除去手法の限界に対処する。
• 完全にデータ駆動の深層ネットワークがデータ集約的で分布に敏感であるという性質を克服するため、物理法則をアーキテクチャに統合する。
• 霧まき除去を越えて、水中画像強調や雨除去などの他の低レベルビジョンタスクにも一般化可能な統一されたディープラーニングフレームワークを開発する。
• 変分エネルギーに基づく視点に裏付けられた透過率伝播により、モデルのロバスト性と収束性を確保する。
• 軽量な学習フレームワークとタスクに適応した画像分離モジュールを設計し、複雑な現実世界の劣化に対して高い性能を発揮する。

提案手法

• 透過率マップ推定のため、物理的事前知識（例：大気散乱モデル）と学習されたデータ分布を統合する深層残差ネットワークを提案する。
• 変分エネルギーに基づく視点を用いて透過率伝播をモデル化することで、事前知識駆動型とデータ駆動型のアプローチを統合し、物理的整合性と安定性を確保する。
• 最小限のパラメータオーバーヘッドで深層伝播ネットワークを効率的に最適化できる軽量な学習フレームワークを導入する。
• 観測画像を透過率成分と反射率成分に分解する、タスクに適応した画像分離定式化を設計し、多様な劣化タイプへの適応を可能にする。
• 画像分離モジュールに柔軟な最適化スキームを適用し、複数のタスク（霧除去、水中強調、雨除去）の共同学習を可能にする。
• 変分エネルギー枠組み下で透過率伝播プロセスのグローバル収束を証明し、推論の安定性を保証する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、物理的事前知識とデータ駆動特徴を効果的に統合することで、単一画像の霧まき除去におけるロバスト性を向上させることができるか？
• RQ2 物理的妥当性を保ちつつ、エンド・ツー・エンド学習を可能にするような透過率伝播のモデル化はどのように実現できるか？
• RQ3 霧まき除去のために訓練された統一されたディープアーキテクチャが、水中画像強調や雨除去などの他の低レベルビジョンタスクに効果的に一般化できるか？
• RQ4 タスクに適応した画像分離の影響は、複雑な劣化状況下での性能と色のバランスにどのような影響を及えるか？
• RQ5 提案された変分エネルギーに基づく定式化は、透過率伝播中に収束性と安定性を保証するか？

主な発見

• DPATNは、合成的および現実世界の霧まき除去ベンチマークの両方で最先端の性能を達成し、視覚的品質と定量的指標の両面で従来手法を上回る。
• タスクに適応した画像分離の導入により、エッジの保持と色のバランスが著しく向上し、物体境界における霧アーチファクトが低減される。
• 水中画像強調の分野では、Rahmanら、Chiangら、Liらの手法を効果的に上回り、青緑色のトーンを除去し、微細なディテールを保持する。
• 単一画像の雨除去において、タスクに適応した分離を用いたDPATNは、SR、DSC、LPと比較して優れた結果を示し、雨のストリークと残留霧の両方を効果的に除去する。
• 提案されたフレームワークは、透過率伝播プロセスのグローバル収束を示し、変分エネルギーに基づく定式化の安定性を裏付ける。
• 実験により、軽量な学習フレームワークが性能を損なわず、効率的な最適化を可能にし、実世界の展開に実用的であることが示された。