[論文レビュー] Meta-causal Learning for Single Domain Generalization

Jin Chen, Zhi Gao+2 more|arXiv (Cornell University)|Apr 7, 2023

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本論文は、1ドメイン一般化のための新規な「シミュレート・分析・低減」パラダイムを提案する。メタ因果学習を用いて、変換された補助ドメインにおける反事後的推論により、ドメインシフト要因を推定・低減する。この手法は、テスト時に適応的ドメイン整合をガイドするためのメタ知識を学習することで、画像分類ベンチマークで最先端の性能を達成し、特に大きなドメインシフト下でも優れた性能を示す。

ABSTRACT

Single domain generalization aims to learn a model from a single training domain (source domain) and apply it to multiple unseen test domains (target domains). Existing methods focus on expanding the distribution of the training domain to cover the target domains, but without estimating the domain shift between the source and target domains. In this paper, we propose a new learning paradigm, namely simulate-analyze-reduce, which first simulates the domain shift by building an auxiliary domain as the target domain, then learns to analyze the causes of domain shift, and finally learns to reduce the domain shift for model adaptation. Under this paradigm, we propose a meta-causal learning method to learn meta-knowledge, that is, how to infer the causes of domain shift between the auxiliary and source domains during training. We use the meta-knowledge to analyze the shift between the target and source domains during testing. Specifically, we perform multiple transformations on source data to generate the auxiliary domain, perform counterfactual inference to learn to discover the causal factors of the shift between the auxiliary and source domains, and incorporate the inferred causality into factor-aware domain alignments. Extensive experiments on several benchmarks of image classification show the effectiveness of our method.

研究の動機と目的

• トレーニング時に1つのソースドメインしか利用できない状況において、複数の未観測ターゲットドメインに一般化する課題に対処すること。
• 既存手法の限界である、ドメインシフトを明示的にモデリングまたは推定しないままソースドメイン分布を拡張することを克服すること。
• ソースドメインとターゲットドメイン間の分布差の原因要因を推定することで、ドメインシフトを分析・低減できるようにすること。
• 多様なドメインシフトにわたる因果推論知識を一般化するメタラーニングフレームワークを構築すること。

提案手法

• 複数のデータ変換をソースデータに適用して補助ドメインを構築し、潜在的なターゲットドメインシフトをシミュレートする。
• データ、変動要因、意味的コンセプト、ラベルの間の依存関係をモデル化するための因果グラフを構築する。
• 変動要因に干渉することで反事後的推論を実行し、予測への因果的影響を推定することで、ドメインシフトの根本的要因を同定する。
• 効果から重みへのネットワークが、推定された因果的影響を要因認識ドメイン整合のための適応的重みに変換する。
• テスト段階では、学習済みのメタ知識を用いて、ソースドメインと未観測ターゲットドメイン間の因果構造を分析する。
• 推定された因果的影響をもとに、特徴マッピングを動的に調整し、適応的整合によってドメイン差を低減する。

実験結果

リサーチクエスチョン

• RQ1 モデルは、ソースドメインと未観測ターゲットドメイン間のドメインシフト要因を因果的要因として推定できるか？
• RQ2 因果的シフト分析に関するメタ知識を学習することで、1ドメイン一般化における一般化性能が向上するか？
• RQ3 補助ドメインにおける反事後的推論は、テスト段階での実際のドメインシフトの推定と低減にどのように寄与するか？
• RQ4 光度的および幾何的変動要因は、現実世界の画像分布シフトにおけるドメインシフトのモデリングにどの程度寄与するか？

主な発見

• 提案手法は、複数の画像分類ベンチマークで最先端の性能を達成し、ResNet-18を用いたPACSでは平均69.86%の精度を達成した。
• より困難なPhoto-to-SketchおよびPhoto-to-Cartoon設定では、それぞれ62.55%および80.14%の精度を達成し、ベースラインを上回った。
• アブレーションスタディの結果、因果分析なしにドメインシフトを直接低減する手法（DTA）は性能を低下させることを示しており、無誘導の整合による負の転送が生じることを示している。
• 因果的影響の可視化により、CIFAR10-CシフトにおいてNoiseGaussianが支配的要因であることが確認され、推定された重みは汚染の深刻さに応じて増加した。
• 要因分析の結果、光度的要因のみ（Ours_PT）では幾何的要因（Ours_GT）を上回るが、両者を組み合わせた場合が最も優れた性能を示し、多要因モデリングの必要性を強調している。
• 本手法は大きなドメインシフトに対しても頑健であり、特にターゲットドメインの分布がソースドメインと著しく異なる場合に顕著な優位性を示した。