[論文レビュー] Invariant Learning via Probability of Sufficient and Necessary Causes

Mengyue Yang, Zhen Fang+6 more|arXiv (Cornell University)|Sep 22, 2023

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本論文は、分布外（OOD）一般化に適した因果的表現を、十分性と必要性の確率（PNS）を活用することで、両方を満たすものとして同定する、革新的な不変学習フレームワークを提案する。PNSリスクの目的関数を導入し、一般化ギャップを理論的にバインドすることで、OOD性能を向上させる、頑健で分離可能な表現を学習する。この手法は、合成的および実世界のベンチマークにおいて、最先端の手法を上回る性能を示す。

ABSTRACT

Out-of-distribution (OOD) generalization is indispensable for learning models in the wild, where testing distribution typically unknown and different from the training. Recent methods derived from causality have shown great potential in achieving OOD generalization. However, existing methods mainly focus on the invariance property of causes, while largely overlooking the property of extit{sufficiency} and extit{necessity} conditions. Namely, a necessary but insufficient cause (feature) is invariant to distribution shift, yet it may not have required accuracy. By contrast, a sufficient yet unnecessary cause (feature) tends to fit specific data well but may have a risk of adapting to a new domain. To capture the information of sufficient and necessary causes, we employ a classical concept, the probability of sufficiency and necessary causes (PNS), which indicates the probability of whether one is the necessary and sufficient cause. To associate PNS with OOD generalization, we propose PNS risk and formulate an algorithm to learn representation with a high PNS value. We theoretically analyze and prove the generalizability of the PNS risk. Experiments on both synthetic and real-world benchmarks demonstrate the effectiveness of the proposed method. The details of the implementation can be found at the GitHub repository: https://github.com/ymy4323460/CaSN.

研究の動機と目的

• 既存の不変学習手法が、不変原因にのみ注目し、十分性と必要性の条件を無視するという限界を是正すること。
• 正確な予測に必要なだけでなく十分な表現を同定することで、分布外（OOD）一般化を向上させること。
• 特徴量が必要かつ十分な原因である確率を定量化する新しいリスク目的関数「PNSリスク」を形式化すること。
• OOD設定下で、ソースドメインとテストドメインのPNSリスク間の一般化ギャップを理論的にバインドすること。
• PNSリスクが低い表現を学習するアルゴリズムを開発し、未知の分布において安定性と頑健性を確保すること。

提案手法

• 予測のための特徴量が必要かつ十分である確率として定義される、新しいリスク目的関数「PNSリスク」を提案する。
• 既知の因果グラフの下で、観測データから反事後的推論を用いてPNS値を推定する。
• PAC学習フレームワークを用いて、ソースドメインとテストドメインにおけるPNSリスクの一般化ギャップに対する理論的バインドを導出する。
• 表現学習中にPNSリスクを最小化する最適化アルゴリズムを設計し、分布シフトに対する頑健性を促進する。
• 表現空間を意味的分離可能に設計し、単調性および外部性の条件を強制する。
• インスタンスレベルの対照的性に依拠するのではなく、反事後的PNS推論に基づく対照的類似の目的関数を採用する。

Figure 1: (a) Examples for causal sufficiency and necessity in the cat classification. (b) The causal graph for OOD generalization problem. The arrows denote the causal generative direction and the dashed line connects the spurious correlated variables. Notations are formally defined in Section 2.1

実験結果

リサーチクエスチョン

• RQ1 PNSリスクは、予測に必要なだけでなく十分な因果的特徴を同定するための信頼できる代理指標として機能するか？
• RQ2 分布シフト下で、ソースドメインにおけるPNSリスクは、未知のテストドメインにおけるその値とどのように関係するか？
• RQ3 PNSリスクを最小化することは、既存の不変リスク最小化手法と比較して、より優れたOOD一般化を達成できるか？
• RQ4 PNSリスクを用いて訓練されたモデルの一般化性能に対して、どのような理論的保証を提供できるか？
• RQ5 本手法は、合成的および実世界のデータにおいて、最先端のOOD一般化ベースラインと比較して、どのように実験的に評価されるか？

主な発見

• 提案手法は、合成的および実世界のOOD一般化ベンチマークにおいて、最先端の性能を達成し、優れた頑健性を示した。
• 理論的分析により、ソースドメインにおけるPNSリスクが、未知のテストドメインにおけるリスクをタイトに近似することが示された。
• 実験により、PNSリスクが低い表現は、特に極端な状況下でも、ドメインシフトに強く一般化することが確認された。
• 本手法は、因果的特徴の両方（必要かつ十分）を的確に捉え、誤った相関に依存することを回避した。
• GitHubの実装（https://github.com/ymy4323460/CaSN）により再現性が確保され、因果的表現学習分野におけるさらなる研究が可能になった。

(a) Spurious degree $s=0.1$