[論文レビュー] A Bit More Bayesian: Domain-Invariant Learning with Uncertainty

Zehao Xiao, Jiayi Shen+3 more|UvA-DARE (University of Amsterdam)|May 9, 2021

Domain Adaptation and Few-Shot Learning参考文献 52被引用数 5

ひとこと要約

本稿では、ドメイン一般化を向上させるために、不確実性モデリングとドメイン不変表現学習を統合する変分ベイジアンニューラルネットワークフレームワークを提案する。確率的推論を通じてドメイン不変特徴量と分類器を同時に最適化することで、4つのクロスドメインベンチマークで最先端性能を達成し、分布シフトに対して優れたロバストネスと分布外一般化を示した。

ABSTRACT

Domain generalization is challenging due to the domain shift and the uncertainty caused by the inaccessibility of target domain data. In this paper, we address both challenges with a probabilistic framework based on variational Bayesian inference, by incorporating uncertainty into neural network weights. We couple domain invariance in a probabilistic formula with the variational Bayesian inference. This enables us to explore domain-invariant learning in a principled way. Specifically, we derive domain-invariant representations and classifiers, which are jointly established in a two-layer Bayesian neural network. We empirically demonstrate the effectiveness of our proposal on four widely used cross-domain visual recognition benchmarks. Ablation studies validate the synergistic benefits of our Bayesian treatment when jointly learning domain-invariant representations and classifiers for domain generalization. Further, our method consistently delivers state-of-the-art mean accuracy on all benchmarks.

研究の動機と目的

• 訓練時にターゲットドメインのデータが利用できない状況におけるドメインシフトと不確実性の課題に対処すること。
• ベイジアン推論を用いてニューラルネットワークの重みに不確実性を組み込むことで、分布外データへの一般化を向上させること。
• ドメイン不変表現と分類器を同時に学習する原理的で確率的なフレームワークを構築すること。
• 変分ベイジアン手法を活用して、分布シフト下で標準的な深層ネットワークが示す過信と精度の悪いキャリブレーションを是正すること。
• メタラーニング設定下で、不確実性モデリングとドメイン不変学習の相乗効果を実証すること。

提案手法

• 重みの不確実性をモデル化するため、変分ベイジアン推論フレームワーク内にドメイン不変性を確率的制約として定式化する。
• 2層のベイジアンニューラルネットワークを用い、近似事後分布推論によりドメイン不変特徴抽出機と分類器を同時に学習する。
• 負の下界期待値（ELBO）を最小化することで変分事後分布を最適化し、尤度と事前分布からのKLダイバージェンスのバランスを取る。
• メタラーニングを統合し、反復毎にソースドメインをメタソースドメインとメタターゲットドメインに分割することで、ドメインシフトをシミュレートし一般化性能を向上させる。
• 特徴抽出機と分類器ヘッドの両方に変分ベイジアン推論を適用し、不確実性を考慮した予測を可能にする。
• 重みの不確実性を活用して、特に未知のドメインシフト下でもロバストネスを向上させる。

実験結果

リサーチクエスチョン

• RQ1 変分ベイジアン推論による重みの不確実性の組み込みが、分布シフト下でのドメイン一般化における一般化性能を向上させるか？
• RQ2 確率的フレームワーク下でドメイン不変特徴量と分類器を同時に学習することは、モデルのロバストネスと精度にどのような影響を与えるか？
• RQ3 ドメイン不変性と不確実性モデリングの相乗効果が、標準的なドメイン一般化手法と比較して、未知のドメインでの性能向上に寄与するか？
• RQ4 PACS や Office-Home といった挑戦的なベンチマーク、特に 'clipart' や 'art' のような難しいドメインにおいて、ベイジアンアプローチが非ベイジアンSOTA手法を上回るか？
• RQ5 不確実性モデリングは、回転させたMNISTおよびFashion-MNISTで測定される分布外一般化にどの程度寄与するか？

主な発見

• 提案手法は、Office-Homeベンチマークで平均精度66.42% ± 0.18を達成し、先行手法を上回った。
• PACSでは、'sketch'ドメインで61.81% ± 0.36の精度を達成し、すべてのベースラインおよび過去のSOTA手法を上回った。
• 回転させたMNISTおよびFashion-MNISTベンチマークでは、インハウス分布で99.0% ± 0.02、分布外で96.5% ± 0.08の精度を達成し、強力なOOD一般化を示した。
• アブレーションスタディにより、ベイジアン推論下でドメイン不変特徴量と分類器を同時に学習することで、ロバストネスと精度に相乗的向上が得られることを確認した。
• 非ベイジアンベースラインと比較して、分布外性能が平均で6.6%向上した。不確実性モデリングの利点を示している。
• 特に'clipart' や 'art' のような困難なドメインを含め、すべてのドメインで高い性能を維持しており、ドメイン固有の過学習なしに一貫した一般化が実現している。