[論文レビュー] Restoring Images Captured in Arbitrary Hybrid Adverse Weather Conditions in One Go

Yecong Wan, Mingwen Shao+3 more|arXiv (Cornell University)|May 17, 2023

Image Enhancement Techniques被引用数 4

ひとこと要約

本稿では、一回の推論プロセスで任意のハイブリッド悪天候条件（例：雨・霞・夜間）によって劣化した画像を回復する統合的深層学習フレームワークRAHCを提案する。マルチヘッドアグリゲーションブロックによるマルチサブスペース劣化表現、コンテンツガイドランスのための再構成ベクトル、一般化のための出力空間特徴分離を組み合わせることで、RAHCは新規の316Kペアデータセット（HAC）および従来のベンチマークにおいて最先端の性能を達成し、先行手法を大きく上回る。

ABSTRACT

Adverse conditions typically suffer from stochastic hybrid weather degradations (e.g., rainy and hazy night), while existing image restoration algorithms envisage that weather degradations occur independently, thus may fail to handle real-world complicated scenarios. Besides, supervised training is not feasible due to the lack of a comprehensive paired dataset to characterize hybrid conditions. To this end, we have advanced the aforementioned limitations with two tactics: framework and data. First, we present a novel unified framework, dubbed RAHC, to Restore Arbitrary Hybrid adverse weather Conditions in one go. Specifically, our RAHC leverages a multi-head aggregation architecture to learn multiple degradation representation subspaces and then constrains the network to flexibly handle multiple hybrid adverse weather in a unified paradigm through a discrimination mechanism in the output space. Furthermore, we devise a reconstruction vectors aided scheme to provide auxiliary visual content cues for reconstruction, thus can comfortably cope with hybrid scenarios with insufficient remaining image constituents. Second, we construct a new dataset, termed HAC, for learning and benchmarking arbitrary Hybrid Adverse Conditions restoration. HAC contains 31 scenarios composed of an arbitrary combination of five common weather, with a total of ~316K adverse-weather/clean pairs. Extensive experiments yield superior results and establish new state-of-the-art results on both HAC and conventional datasets.

研究の動機と目的

• 複数の悪天候要因（例：雨、霞、雪、夜間、雨粒）の任意の組み合わせによって劣化した画像を回復できる統合的モデルの不足を解消すること。
• 既存手法が劣化要因を個別に扱うか、特定のペアに限定して処理するため、実世界の確率的ハイブリッド状態では失敗するという限界を克服すること。
• 手作業によるアノテーションが高価であるのを避けるために、多様なハイブリッド劣化ペアを生成するスケーラブルでデータ効率の良いトレーニングパイプラインを開発すること。
• 一般化能力と耐性の厳密な評価を可能にするために、31種類のハイブリッド天候シナリオをカバーする約316Kペアの画像を含む包括的なベンチマークデータセット（HAC）を構築すること。

提案手法

• RAHCは、畳み込みとアテンションメカニズムのハイブリッドを用いて、複数の劣化表現サブスペースを学習するマルチヘッドブレンドブロック（MHBB）を採用し、複雑で重複する天候劣化要因を統合的にモデル化する。
• 自然画像で事前学習されたコードブック埋め込みを用いた再構成ベクトルを導入し、画像の詳細が重度に損なわれた場合でも、補助的な視覚的コンテンツ手がかりを提供することで再構成の忠実度を向上させる。
• 劣化不変の回復能力を強制するために、ネットワーク出力上でマルチラベル分類器をトレーニングする、新規の出力空間特徴分離（OSD）機構を設計し、未観測のハイブリッド条件にわたる一般化を促進する。
• HACデータセットは、劣化パターンを暗黙的に学習できる生成モデルAdverseGANを用いて構築され、自動的かつ低コストに多様なハイブリッド天候ペアを合成可能である。
• トレーニングデータはAdverseGANから生成された画像で拡張されており、これらが信頼性があり効果的であることが示され、アノテーションコストを1GPUあたり約1か月から約10分に削減した。
• このフレームワークは既存のSOTAアーキテクチャ（例：Restormer、NAFNet）と互換性があり、OSDは一括回復設定において性能を効果的に向上させるためにシームレスに統合可能である。

Figure 1: Overview of adverse conditions restoration frameworks. (a) Separate networks designed for specific tasks; (b) generic networks with task-specific weights; (c) unified all-in-one networks with single trained weights; (d) our proposed RAHC framework. In contrast to existing approaches that a

実験結果

リサーチクエスチョン

• RQ1 複数の悪天候要因の任意の組み合わせによる画像劣化を、単一または事前に定義されたペアに限定されない1つのディープラーニングモデルが効果的に回復できるか？
• RQ2 画像のコンテンツが重度に劣化し、最小限の残存構造しか残っていない状況でも、モデルが高い再構成品質を維持できるか？
• RQ3 AdverseGANのような生成モデルが、人為的アノテーションが不要な状況でも、現実的で多様かつ信頼性のあるハイブリッド劣化ペアを効果的に生成できるか？
• RQ4 出力空間特徴分離は、特徴レベルや知識蒸留戦略に比べ、未観測のハイブリッド天候シナリオにわたる一般化を促進する点で優れているか？
• RQ5 合成された多様なデータセットでトレーニングされた統合フレームワークが、実世界の複雑な悪天候条件下でも効果的に一般化できるか？

主な発見

• RAHCはHACデータセットでPSNR 22.92を達成し、先行SOTA手法（TKL：21.30、Restormer+TKL：21.14）を大きく上回り、優れた回復品質を示した。
• 提案された出力空間特徴分離（OSD）機構は、NAFNetに適用することで、ベースライン手法に比べPSNRを最大0.53向上させ、PSNRおよびSSIM両面で知識蒸留戦略（TKL）を上回った。
• AdverseGANから生成されたデータでトレーニングされたモデルは、実データでトレーニングされたモデル（PSNR 19.16）と同等の性能（PSNR 19.12）を達成し、合成データパイプラインの信頼性と効率性を裏付けた。
• 31種類のハイブリッド天候組み合わせをカバーする316Kペアの画像を含むHACデータセットは、一般化能力の強固な評価を可能にし、実世界の状況では複数の劣化要因が同時に発生することが多いことを明らかにした。
• 実世界の画像に対する可視化結果から、RAHCは写真的で高忠実度の出力を生成しており、実用的な展開状況における耐性と実用性を確認した。
• 再構成ベクトルの統合により、テクスチャやエッジ情報がほとんど失われた低コンテンツ状況でも、視覚的品質と構造的一致性が向上した。

Figure 2: Illustration of the proposed RAHC architecture. The restoration network consists of an encoder, a decoder, and a feature mapping subnetwork. The mapping network first maps the encoded feature to the latent clean space and then locates the reconstruction vectors in the pre-established Codeb