[論文レビュー] Uncertainty Modeling for Out-of-Distribution Generalization

Xiaotong Li, Yongxing Dai+4 more|arXiv (Cornell University)|Feb 8, 2022

Domain Adaptation and Few-Shot Learning被引用数 71

ひとこと要約

DSUを導入し、特徴統計を不確実な分布として扱うことでドメインシフトをモデル化する確率的アプローチを提案し、追加パラメータなしで視覚タスク全体の一般化を向上させる。

ABSTRACT

Though remarkable progress has been achieved in various vision tasks, deep neural networks still suffer obvious performance degradation when tested in out-of-distribution scenarios. We argue that the feature statistics (mean and standard deviation), which carry the domain characteristics of the training data, can be properly manipulated to improve the generalization ability of deep learning models. Common methods often consider the feature statistics as deterministic values measured from the learned features and do not explicitly consider the uncertain statistics discrepancy caused by potential domain shifts during testing. In this paper, we improve the network generalization ability by modeling the uncertainty of domain shifts with synthesized feature statistics during training. Specifically, we hypothesize that the feature statistic, after considering the potential uncertainties, follows a multivariate Gaussian distribution. Hence, each feature statistic is no longer a deterministic value, but a probabilistic point with diverse distribution possibilities. With the uncertain feature statistics, the models can be trained to alleviate the domain perturbations and achieve better robustness against potential domain shifts. Our method can be readily integrated into networks without additional parameters. Extensive experiments demonstrate that our proposed method consistently improves the network generalization ability on multiple vision tasks, including image classification, semantic segmentation, and instance retrieval. The code can be available at https://github.com/lixiaotong97/DSU.

研究の動機と目的

• 未知のドメインシフトに対する頑健性を、不確実な特徴統計を活用して動機づける。
• 特徴の平均と分散をガウス分布としてモデル化する確率的な定式化を提案する。
• 様々なドメインシフトを模擬するために、サンプルされた特徴統計を用いたトレーニング時のデータ拡張を有効にする。
• 既存のネットワークに組み込めるパラメータ不要の統合を維持する。
• 複数の視覚タスクにおける一般化の改善を実証する。

提案手法

• 特徴統計量（平均と標準偏差）を、元の値を中心とする多変量ガウスとしてモデル化する。
• 統計量の非パラメトリックなミニバッチ分散を用いて、各チャネルの不確実性スコープを推定する。
• 再パラメータ化トリックを用いてN(original, scope^2)から新しい統計をサンプリングし、バックプロパゲーションを可能にする。
• トレーニング中、AdaIN風モジュールを用いて元の統計をサンプル統計で置換する。
• トレーニング中にDSUを適用する頻度を制御する確率pを導入する（トレーニングのみ、テスト時のオーバーヘッドなし）。
• 追加のパラメータや損失なしにネットワーク内の位置へプラグアンドプレイで統合できることを示す。

実験結果

リサーチクエスチョン

• RQ1 特徴統計の不確実性は、訓練時に見られないドメインシフトへの頑健性を向上させるか。
• RQ2 確率的特徴統計拡張は、決定的な統計ベースの手法より、さまざまなタスクでより良い一般化をもたらすか。
• RQ3 DSUは既存のドメイン一般化アプローチおよび画像レベルの拡張とどのように相互作用するか。
• RQ4 最良の効果を得るために、DSUモジュールはネットワークのどこに挿入すべきか。

主な発見

手法	アート	カートゥーン	写真	スケッチ	平均値（%）
Baseline	74.3	76.7	96.4	68.7	79.0
Mixup	76.8	74.9	95.8	66.6	78.5
Manifold Mixup	75.6	70.1	93.5	65.4	76.2
CutMix	74.6	71.8	95.6	65.3	76.8
RSC*	78.9	76.9	94.1	76.8	81.7
L2A-OT	83.3	78.2	96.2	73.6	82.8
SagNet	83.6	77.7	95.5	76.3	83.3
pAdaIN	81.7	76.6	96.3	75.1	82.5
MixStyle	82.3	79.0	96.3	73.8	82.8
DSU	83.6	79.6	95.8	77.6	84.1

• DSUはPACS（マルチドメイン分類）全体の強力な決定論的ベースラインに対して一貫して一般化を改善する。
• DSUは平均精度および各ドメインの性能で、従来のスタイル/統計ベース手法（例: MixStyle, pAdaIN）を上回る。
• セマンティックセグメンテーション（GTA5 から Cityscapes で）において、DSUはベースラインに対して顕著なmIOUおよびmAccの利得をもたらす（例: +6.1% mIOU, +5.5% mAcc）。
• インスタンス検索（Duke-Market データセット）では、DSUはベースラインに対してmAPとR1の顕著な改善を達成（例: +約6–7ポイント）。
• DSUはImageNet-Cの汚染性への頑健性を向上させ、最先端手法（APR）を補完できる。
• アブレーションは、DSUの利得が挿入位置を問わず、試した分布の混合にも比較的頑健であることを示す。