[論文レビュー] Normalization Perturbation: A Simple Domain Generalization Method for Real-World Domain Shifts

Qi Fan, Mattia Segù+5 more|arXiv (Cornell University)|Nov 8, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本稿では、深層ネットワークの浅層畳み込み層におけるチャネル統計の摂動を用いて現実世界のドメインシフトを軽減する、シンプルでありながら効果的なドメイン一般化手法である正規化摂動（NP）を提案する。訓練中に1つのソースドメインから多様な潜在的ドメインスタイルを合成することで、NPはモデルがドメイン不変表現を学習し、ターゲットドメインデータを必要とせずに未観測ドメインへも頑健に一般化することを可能にする。物体検出およびセマンティックセグメンテーションのベンチマークにおいて、先行SOTA手法を上回る性能を発揮する。

ABSTRACT

Improving model's generalizability against domain shifts is crucial, especially for safety-critical applications such as autonomous driving. Real-world domain styles can vary substantially due to environment changes and sensor noises, but deep models only know the training domain style. Such domain style gap impedes model generalization on diverse real-world domains. Our proposed Normalization Perturbation (NP) can effectively overcome this domain style overfitting problem. We observe that this problem is mainly caused by the biased distribution of low-level features learned in shallow CNN layers. Thus, we propose to perturb the channel statistics of source domain features to synthesize various latent styles, so that the trained deep model can perceive diverse potential domains and generalizes well even without observations of target domain data in training. We further explore the style-sensitive channels for effective style synthesis. Normalization Perturbation only relies on a single source domain and is surprisingly effective and extremely easy to implement. Extensive experiments verify the effectiveness of our method for generalizing models under real-world domain shifts.

研究の動機と目的

• 自動運転などの安全が求められるシステムを含む、現実世界のディープラーニング応用におけるドメインシフトという重要な課題に対処すること。
• 深層モデルがソースドメインのスタイルに過学習し、現実世界のドメインシフト下で一般化に失敗する理由を解明すること。
• ターゲットドメインデータのアクセスを必要とせず、追加パラメータやアーキテクチャ変更なしに一般化性能を向上させる手法を開発すること。
• 1つのソースドメインのみを用いて、特徴統計の摂動による潜在的ドメインスタイルの合成を通じて、効果的なドメイン一般化を実現すること。

提案手法

• 訓練中に浅層畳み込み層の特徴マップのチャネル別平均および標準偏差を摂動させることで、多様なドメインスタイルをシミュレートする。
• 正規化摂動（NP）は、初期層のバッチ正規化統計にランダムな摂動を適用し、モデルが潜在的なドメイン変動をよりよく認識できるようにする。
• 追加の可学習パラメータ、入力、損失関数を必要としない、シンプルで即座に統合可能なモジュールとして実装される。
• 著者らは、スタイル合成の効率性と有効性を高めるために、初期層におけるスタイルに敏感なチャネルを同定・集約する。
• NPは1つのソースドメイン上で訓練中に適用され、モデルが未観測のドメインシフトに対して頑健な表現を学習できるようにする。
• 本手法は、物体検出およびセマンティックセグメンテーションの両タスクで評価され、密度予測タスクへの広範な適用性が示された。

実験結果

リサーチクエスチョン

• RQ1 なぜ深層モデルは、ソースドメインとスタイルが異なるターゲットドメインにおいて、現実世界のドメインシフト下で一般化に失敗するのか？
• RQ2 ターゲットデータにアクセスせずに、1つのソースドメインから潜在的ドメインスタイルを合成することで、ドメイン一般化はどの程度向上できるのか？
• RQ3 浅層における特徴統計の摂動は、モデルのドメイン不変表現学習能力にどのように影響するのか？
• RQ4 NPのようなシンプルでパラメータフリーな手法が、複雑なドメイン一般化および教師なしドメイン適応手法を、現実世界のベンチマークで上回ることができるのか？
• RQ5 どの層および特徴チャネルがドメインスタイル変化に対して最も感受性が強く、効果的なスタイル合成に活用できるのか？

主な発見

• 正規化摂動（NP）は、未観測ドメインにおける一般化性能を顕著に向上させ、CityscapesからFoggy Cityscapesへの物体検出適応ベンチマークで58.7% AP50を達成し、以前のSOTAの52.4%を上回った。
• NP+バージョンは、S→Cで58.7% AP50、C→Fで46.3% AP50を達成し、スタイルに敏感なチャネル選択の有効性を裏付けた。
• セマンティックセグメンテーションのドメイン一般化において、NPは5つの多様なデータセット（Cityscapes, BDD100k, Mapillary Vistas, Synthia, GTAV）の平均mIoUを52.16%に達成し、以前のSOTA手法RobustNetを1.5ポイント上回った。
• 本手法は、物体検出およびセマンティックセグメンテーションの両タスクにわたり優れた一般化性能を示し、タスク特化型手法を超える広範な適用性を有する。
• t-SNE可視化により、NPがターゲットドメインの分布を摂動させたソースドメインの特徴空間に効果的に統合していることが確認され、深層部におけるドメイン差を低減した。
• アブレーションスタディの結果、浅層の摂動のみで強力なドメイン一般化が達成可能であることが示され、低レベル特徴統計がドメインシフトの耐性に果たす重要な役割が浮き彫りになった。