[論文レビュー] Modeling Uncertain Feature Representation for Domain Generalization

Xiaotong Li, Zixuan Hu+4 more|arXiv (Cornell University)|Jan 16, 2023

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、ドメインシフト下での深層学習の一般化性能を向上させるために、特徴統計を多変量正規分布としてモデル化する「不確実性を伴うドメインシフト（DSU）」を提案する。トレーニング中に不確かな統計をサンプリングし、推論時にインスタンスごとの適応を適用することで、追加パラメータを一切導入せず、画像分類、セグメンテーション、リtrieval、ポーズ推定の各タスクで最先端の性能を達成する。

ABSTRACT

Though deep neural networks have achieved impressive success on various vision tasks, obvious performance degradation still exists when models are tested in out-of-distribution scenarios. In addressing this limitation, we ponder that the feature statistics (mean and standard deviation), which carry the domain characteristics of the training data, can be properly manipulated to improve the generalization ability of deep learning models. Existing methods commonly consider feature statistics as deterministic values measured from the learned features and do not explicitly model the uncertain statistics discrepancy caused by potential domain shifts during testing. In this paper, we improve the network generalization ability by modeling domain shifts with uncertainty (DSU), i.e., characterizing the feature statistics as uncertain distributions during training. Specifically, we hypothesize that the feature statistic, after considering the potential uncertainties, follows a multivariate Gaussian distribution. During inference, we propose an instance-wise adaptation strategy that can adaptively deal with the unforeseeable shift and further enhance the generalization ability of the trained model with negligible additional cost. We also conduct theoretical analysis on the aspects of generalization error bound and the implicit regularization effect, showing the efficacy of our method. Extensive experiments demonstrate that our method consistently improves the network generalization ability on multiple vision tasks, including image classification, semantic segmentation, instance retrieval, and pose estimation. Our methods are simple yet effective and can be readily integrated into networks without additional trainable parameters or loss constraints. Code will be released in https://github.com/lixiaotong97/DSU.

研究の動機と目的

• 分布外のテスト環境における深層ネットワークの性能低下、特に特徴統計のドメインシフトに起因する問題を解決すること。
• 特徴統計（平均と標準偏差）を決定論的値ではなく確率的分布として扱うことで、ドメインシフトに内在する不確実性をモデル化すること。
• トレーニング時に多様で不確かな統計のバリエーションをサンプリングすることで、モデルの一般化性能を向上させること。
• 追加的な計算負荷をほとんどかけずに、インスタンスごとの適応的キャリブレーションにより推論時の堅牢性を向上させること。

提案手法

• 各特徴統計（平均と標準偏差）を、元の決定論的値を中心とする多変量正規分布としてモデル化し、非パラメトリックな方法でミニバッチ統計から分散を推定する。
• トレーニング中は、推定された正規分布から特徴統計をランダムにサンプリングし、潜在的なドメインシフトを模倣する多様な摂動を生成する。
• 不確実性推定はチャネルごとであり、異なる特徴チャネルにおけるシフトの可能性の違いを捉える。
• 推論時、テストサンプルの不確実性に基づいて特徴統計を再キャリブレーションするインスタンスごとの適応戦略を採用し、予期しないドメインシフトに対する堅牢性を向上させる。
• 本手法は非パラメトリックであり、追加の学習可能なパラメータや損失制約を導入しないため、既存のネットワークへの容易な統合が可能である。
• 理論的分析により、一般化誤差の境界と暗黙の正則化効果が支持され、その堅牢性の妥当性が裏付けられる。

実験結果

リサーチクエスチョン

• RQ1 特徴統計を不確かな分布としてモデル化することで、ドメインシフト下でのモデル一般化性能が向上するか？
• RQ2 トレーニング時に不確実性を考慮した特徴統計のサンプリングが、未観測のドメイン分布に対する耐性にどのように寄与するか？
• RQ3 推論時にインスタンスごとの適応を施すことで、計算コストを最小限に抑えながら一般化性能がさらに向上するか？
• RQ4 チャネル全体で共通の不確実性分布を共有する手法と比較して、提案手法の不確実性推定はどのように優れているか？
• RQ5 異なる不確実性分布のタイプ（例：正規分布 vs. 均一分布）がモデル性能に与える影響は何か？

主な発見

• PACSデータセットにおいて、DSUは最先端の性能を達成し、ゼロショット一般化精度を79.0%のベースラインから84.1%まで向上させた。
• GTA5からCityscapesへのセマンティックセグメンテーションベンチマークでは、DSUが37.0%から43.1%まで性能を向上させ、ドメインシフト状況下での強力な耐性を示した。
• 事前に定義された標準偏差を持つ固定された正規分布よりも性能が優れており、静的摂動ではなく、適応的不確実性推定がより効果的であることを示した。
• チャネル間で同一の不確実性分布を共有すると性能が低下（43.1% → 39.3%）し、チャネルごとの不確実性モデリングが最適な結果を得るために不可欠であることを確認した。
• トレーニング時間は6%増加、推論時間は1%増加に留まり、追加パラメータは0.02%未満にとどまり、高い効率性を示した。