[論文レビュー] Rethinking Performance Gains in Image Dehazing Networks

Yuda Song, Yang Zhou+2 more|arXiv (Cornell University)|Sep 23, 2022

Image Enhancement Techniques被引用数 47

ひとこと要約

論文は画像霧消去のためのコンパクトなU-Net変種であるgUNetを提案し、ゲーティングベースの残差ブロックと選択的カーネル融合を用いて、低いオーバーヘッドで高い性能を達成することを示す。複数データセットにわたる包括的なアブレーションで検証。

ABSTRACT

Image dehazing is an active topic in low-level vision, and many image dehazing networks have been proposed with the rapid development of deep learning. Although these networks' pipelines work fine, the key mechanism to improving image dehazing performance remains unclear. For this reason, we do not target to propose a dehazing network with fancy modules; rather, we make minimal modifications to popular U-Net to obtain a compact dehazing network. Specifically, we swap out the convolutional blocks in U-Net for residual blocks with the gating mechanism, fuse the feature maps of main paths and skip connections using the selective kernel, and call the resulting U-Net variant gUNet. As a result, with a significantly reduced overhead, gUNet is superior to state-of-the-art methods on multiple image dehazing datasets. Finally, we verify these key designs to the performance gain of image dehazing networks through extensive ablation studies.

研究の動機と目的

• 画像霧消去ネットワークにおける性能向上を推進する主要なアーキテクチャ設計を特定する。
• 計算コストを抑えつつ精度を維持または向上させる軽量な霧消去モデルを開発する。
• 注意機構・活性化・グローバル情報融合が霧消去性能に与える影響を切り分ける。
• 多様なデータセットに跨る設計選択を検証するための広範なアブレーションを提供する。

提案手法

• U-Netの標準畳み込みブロックをゲート付き畳み込みブロック（gConv）に置換する。
• 表現力を保ちつつオーバーヘッドを減らすためにデプスワイズ分離可能畳み込みを用いる。
• チャンネル注意とともにスキップ接続とメインパスの特徴を動的に融合する SK Fusion を導入する。
• 潜在的な霧なし画像の残差を予測し、L1損失を用いて訓練する。
• 学習を安定化・最適化するために SyncBN、FrozenBN、混合精度、ウェームアップなどの訓練戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 U-Net における最小限の設計変更で、低いオーバーヘッドのまま画像霧消去性能を大幅に向上させることはできるか。
• RQ2 ゲーティング機構と選択的カーネル融合は、霧消去の局所および全体情報のモデリング能力にどのように影響するか。
• RQ3 アブレーションされた構成要素（gConv、SK Fusion、チャネル注意）は、複数データセットを通じて一貫して性能を向上させるか。
• RQ4 軽量な霧消去ネットワークの安定性と最終精度に最も影響を与える訓練戦略は何か。

主な発見

• gUNet の variants は、複数のデータセットで多くの最先端法よりも大幅に低いオーバーヘッドで優れた性能を発揮する。
• ゲーティングベースブロック（gConv）は従来の活性化より一貫して性能を向上させるが、データセット間でばらつきがある。
• SK Fusion は、スキップとメインパスの特徴を効果的に結合し、グローバルな大気光の推定にも不可欠である。
• 正規化戦略（SyncBN）と訓練期間は安定性と最終精度に大きく影響し、長い訓練は利得を生むことがある一方、小規模データセットで過学習のリスクが高まる。
• 同一パラメータ予算内では深い構成が広い構成より一般に優れており、深さが霧消去モデルの鍵となる要因である。