[論文レビュー] Gated Context Aggregation Network for Image Dehazing and Deraining

Dongdong Chen, Mingming He+6 more|arXiv (Cornell University)|Nov 21, 2018

Image Enhancement Techniques参考文献 38被引用数 36

ひとこと要約

本稿では、グリッドアーチファクトを低減する滑らかな拡張畳み込みと、多段階特徴を適応的に統合するゲート付き融合モジュールを用いた、画像の霞まし除去および雨除去のためのエンドツーエンドゲート付きコンテキスト集約ネットワークGCANetを提案する。本手法は、両方のベンチマークで最先端の性能を達成し、定量的指標および視覚的品質の両面で先行手法を大きく上回っている。

ABSTRACT

Image dehazing aims to recover the uncorrupted content from a hazy image. Instead of leveraging traditional low-level or handcrafted image priors as the restoration constraints, e.g., dark channels and increased contrast, we propose an end-to-end gated context aggregation network to directly restore the final haze-free image. In this network, we adopt the latest smoothed dilation technique to help remove the gridding artifacts caused by the widely-used dilated convolution with negligible extra parameters, and leverage a gated sub-network to fuse the features from different levels. Extensive experiments demonstrate that our method can surpass previous state-of-the-art methods by a large margin both quantitatively and qualitatively. In addition, to demonstrate the generality of the proposed method, we further apply it to the image deraining task, which also achieves the state-of-the-art performance. Code has been made available at https://github.com/cddlyf/GCANet.

研究の動機と目的

• 暗がりチャネルやコントラスト最大化といった手作業で設計された事前知識に依存する従来の霞まし除去手法の限界に対処すること。
• 透過率マップや大気光の明示的推定を必要とせず、直接的に霞なし画像を回帰するエンドツーエンドのディーブラーニングフレームワークを構築すること。
• コンテキスト集約ネットワークにおける拡張畳み込みによるグリッドアーチファクトを、最小限のパラメータオーバーヘッドで滑らかな拡張技術を用いて軽減すること。
• ゲート付きサブネットワークを用いて多段階特徴間の適応的融合重みを学習することで、特徴表現を向上させること。
• 本アーキテクチャの汎用性を実証するため、画像雨除去タスクへの応用に成功させること。

提案手法

• 標準的な拡張畳み込みに代えて、特徴の滑らかな伝搬を保証することでグリッドアーチファクトを低減する、新規の滑らかな拡張モジュールを採用する。
• 異なるエンコーダーステージからの特徴の動的統合重みを学習するためのゲート付きサブネットワークを導入し、モデルが最も関連性の高い文脈的情報に集中できるようにする。
• 拡張畳み込みを用いた残差ブロックに基づくアーキテクチャであり、滑らかな拡張操作を適用することで空間的整合性を維持し、視覚的アーチファクトを低減する。
• バッチ正則化の代わりにインスタンス正則化を用いることで、特に低照度または複雑なシーンにおいて特徴の安定性と性能を向上させる。
• 中間の監視や物理的モデル制約を必要とせず、知覚的損失と再構成損失の両方を用いてエンドツーエンドで学習する。
• 同じアーキテクチャを、合成された雨の画像データセットを用いて微調整することで画像雨除去タスクに適用し、汎用性を示している。

実験結果

リサーチクエスチョン

• RQ1 手作業で設計された事前知識（例：暗がりチャネルやコントラスト最大化）に依存する従来の霞まし除去手法よりも、エンドツーエンドのディーブラーニングベースのネットワークが画像霞まし除去で優れた性能を発揮できるか？
• RQ2 標準的な指数関数的に増加する拡張畳み込みと比較して、滑らかな拡張畳み込みがグリッドアーチファクトを顕著に低減できるか？
• RQ3 学習可能なゲート付き統合メカニズムは、画像修復タスクにおける複数スケールの特徴統合を向上させられるか？
• RQ4 提案されたGCANetアーキテクチャは、霞まし除去を超えて、雨除去のような他の画像修復タスクに対しても良好に一般化できるか？
• RQ5 滑らかな拡張、ゲート付き統合、正則化の各アーキテクチャ的要素が、全体の性能向上に果たす相対的寄与度はどの程度か？

主な発見

• RESIDE霞ましベンチマークにおいて、GCANetは30.23のPSNRを達成し、以前の最先端手法を顕著に上回った。
• アブレーションスタディの結果、滑らかな拡張、ゲート付き統合、インスタンス正則化のすべてのコンポーネントの組み合わせが、ベースライン設定比で2.66 dBの性能向上をもたらした。
• 滑らかな拡張畳み込みブロックは、物体の境界やテクスチャ付近でのグリッドアーチファクトと色ずれを効果的に低減しており、図5で視覚的に確認された。
• 画像雨除去タスクにおいて、GCANetは以前のSOTA手法（DID-MDN）よりも3 dB以上のPSNRを達成し、強力な一般化能力を示した。
• ゲート付き統合メカニズムにより、細かいディテールの保持と自然な色再現性が向上し、AOD-Net や GFN と比較して明るさの一貫性と霞の除去性能で優れた結果を示した。
• インスタンス正則化はバッチ正則化よりも大きな性能向上をもたらし、入力条件の変化に伴う特徴の安定性が向上していることを示唆している。