[論文レビュー] FIFO: Learning Fog-invariant Features for Foggy Scene Segmentation

SoHyun Lee, Taeyoung Son+1 more|arXiv (Cornell University)|Apr 4, 2022

Image Enhancement Techniques被引用数 10

ひとこと要約

FIFOは、靭的をスタイルとしてモデル化し、学習可能な靭透過フィルタを用いてニューラルスタイル表現からの靭関連要因を抽出することで、セマンティックセグメンテーションにおける靭に依存しない特徴を学習する新規な手法を提案する。クリア、合成、実際の靭画像間のスタイルギャップを繰り返し最適化することで、FIFOは実際の靭画像データセットで最先端の性能を達成するとともに、クリアな天候の画像でも精度を向上させ、従来の方法がクリアなシーンで性能を落とすのとは対照的に優れている。

ABSTRACT

Robust visual recognition under adverse weather conditions is of great importance in real-world applications. In this context, we propose a new method for learning semantic segmentation models robust against fog. Its key idea is to consider the fog condition of an image as its style and close the gap between images with different fog conditions in neural style spaces of a segmentation model. In particular, since the neural style of an image is in general affected by other factors as well as fog, we introduce a fog-pass filter module that learns to extract a fog-relevant factor from the style. Optimizing the fog-pass filter and the segmentation model alternately gradually closes the style gap between different fog conditions and allows to learn fog-invariant features in consequence. Our method substantially outperforms previous work on three real foggy image datasets. Moreover, it improves performance on both foggy and clear weather images, while existing methods often degrade performance on clear scenes.

研究の動機と目的

• クリアな天候の画像でも性能が低下しない、さまざまな靭状態に一般化可能なセマンティックセグメンテーションモデルの開発。
• 実際の靭画像データのアノテーションが限られていることと、既存のモデルが靭のシーンで性能を落とすという課題の解決。
• 靭をスタイルとしてモデル化し、ニューラル特徴空間におけるスタイルの不一致を是正することで、靭に依存しない特徴の学習。
• トレーニング中に複雑なカリキュラム学習や靭密度の制御を必要としないようにすること。
• コンテンツや他の環境要因から靭固有のスタイル要因を分離することで、一般化性能の向上。

提案手法

• FIFOは靭状態をスタイルとみなしており、特徴マップのグラム行列を、学習可能な靭透過フィルタモジュールの入力として用いる。
• 靭透過フィルタは、コンテンツや他の要因から分離して、唯一靭関連のスタイル情報を捉えるコンactな靭要因埋め込みを学習する。
• セグメンテーションネットワークは、異なる靭ドメイン（クリア、合成、実際の靭）の靭要因間の距離を最小化するように訓練されるが、ドメイン内での変動は保持される。
• 靭透過フィルタとセグメンテーションネットワークは交互に最適化され、外部の靭密度制御なしにエンドツーエンドのトレーニングが可能になる。
• 靭透過フィルタはトレーニング時のみに使用される補助モジュールであり、推論時には破棄される。
• メトリック学習損失を活用することで、類似する靭要因を引き寄せ、異なる要因を遠ざけることで、ドメイン不変特徴の学習を促進する。

実験結果

リサーチクエスチョン

• RQ1 ニューラル特徴空間におけるスタイルとしての靭をモデル化することで、靭に依存しないセマンティックセグメンテーション特徴を学習できるか？
• RQ2 ニューラルスタイル表現において、コンテンツや他の環境要因から靭固有のスタイル要因をどのように分離できるか？
• RQ3 靭透過フィルタとセグメンテーションネットワークの交互最適化によるエンドツーエンドトレーニングは、靭密度制御を伴うカリキュラム学習を上回るか？
• RQ4 合成および実際の靭画像でトレーニングしたモデルは、実際の靭画像シーンに一般化可能であり、クリアな天候の画像でも性能が低下しないか？
• RQ5 本手法は、ドメインアダプティブラーニングや他のスタイルベースの適応技術と比較して、靭に依存しない特徴学習をどのように処理するか？

主な発見

• FIFOは3つの実際の靭画像セグメンテーションベンチマークで最先端の性能を達成した：FZ test v2で48.4 mIoU、FDDで48.9、FDで50.7を記録した。
• FIFOは、前回のSOTAモデルであるCMAda3+を、FZ test v2で1.6 mIoU、FDDで5.9、FDで0.9上回った。
• 従来の手法とは異なり、クリアな天候の画像でもセグメンテーション精度が向上した。
• 定性的な結果では、ベースラインモデルが失敗する濃い靭領域でも、FIFOが高品質なセグメンテーションを生成していることが示された。
• 画像再構成の結果から、FIFOは靭画像およびクリアな画像の両方で画像の鮮明さを向上させ、靭に依存しない特徴学習が効果的であることが裏付けられた。
• アブレーションスタディでは、靭透過フィルタなしにグラム行列のギャップを直接最小化すると性能が劣ることが確認され、フィルタモジュールの必要性が裏付けられた。