[論文レビュー] Generalization in anti-causal learning

Niki Kilbertus, Giambattista Parascandolo+1 more|arXiv (Cornell University)|Dec 3, 2018

Adversarial Robustness in Machine Learning参考文献 19被引用数 21

ひとこと要約

この論文は、原因から結果を推論する反因果学習における強力な一般化が、因果モデルへのアクセスを必要とすることを主張している。因果モデルではなく反因果モデルに依存するのではなく、因果モデルの探索と検証へとパラダイムを転換することで、i.i.d.でないデータ分布を超えた頑健な外挿が可能となり、敵対的ロバストネス、分離表現、深層学習における一般化に影響を与える。

ABSTRACT

The ability to learn and act in novel situations is still a prerogative of animate intelligence, as current machine learning methods mostly fail when moving beyond the standard i.i.d. setting. What is the reason for this discrepancy? Most machine learning tasks are anti-causal, i.e., we infer causes (labels) from effects (observations). Typically, in supervised learning we build systems that try to directly invert causal mechanisms. Instead, in this paper we argue that strong generalization capabilities crucially hinge on searching and validating meaningful hypotheses, requiring access to a causal model. In such a framework, we want to find a cause that leads to the observed effect. Anti-causal models are used to drive this search, but a causal model is required for validation. We investigate the fundamental differences between causal and anti-causal tasks, discuss implications for topics ranging from adversarial attacks to disentangling factors of variation, and provide extensive evidence from the literature to substantiate our view. We advocate for incorporating causal models in supervised learning to shift the paradigm from inference only, to search and validation.

研究の動機と目的

• i.i.d.でないデータ分布を超えた一般化における反因果学習の根本的限界に対処すること。
• 共変量シフトやドメインシフト下で、現在の教師あり学習手法が因果構造を考慮しない直接推論に依存しているため、失敗することを主張すること。
• 反因果タスクにおける強力な一般化と仮説の検証を可能にするために、因果モデルが不可欠であることを示すこと。
• 認知科学、物理学、機械学習の知見を統合し、因果生成モデルが頑健な推論において果たす役割を明らかにすること。
• 機械学習システムにおける純粋な推論から、仮説探索と因果検証へのパラダイム転換を提唱すること。

提案手法

• 原因から結果を予測する因果学習と、結果から原因を推論する反因果学習を区別し、それぞれの一般化特性の違いを強調する。
• 反因果モデルが仮説の生成を担い、因果モデルが検証と外挿に使われることを提案する。
• 「探索と検証」を一般原則として導入：反因果モデルで候補となる原因を生成し、因果モデルで検証する。
• 科学的発見に類似する：理論（仮説）を思いついて、因果モデルで結果を計算し、観測データと比較する。
• 視覚（逆画像生成）、ロボット工学（シミュレータ内での計画）、AlphaGo（ニューラルネットワークで誘導されるゲーム状態の探索）の例を挙げる。
• 一般化における因果モデルの頑健性を正当化するため、原因とメカニズムの独立性の原則（ICM）を用いる。

実験結果

リサーチクエスチョン

• RQ1 なぜ現在の反因果学習手法は、i.i.d.設定では優れた性能を示すものの、分布シフト下では一般化に失敗するのか？
• RQ2 因果モデルは、画像生成、分離表現、敵対的ロバストネスなどの反因果タスクにおける一般化をどのように向上させるのか？
• RQ3 仮説探索と検証は、補間を超えた強力な一般化を実現するために果たす役割は何か？
• RQ4 人間の認知プロセスは、提案された探索・検証フレームワークとどのような点で類似しているか？
• RQ5 既存の深層学習アーキテクチャは、因果モデル探索と反因果推論の観点からどのように再解釈できるか？

主な発見

• 反因果学習における強力な一般化は、因果モデルへのアクセスがなければ根本的に制限される。逆写像はしばしば不適切または一意でないからである。
• 因果モデルにより、反因果モデルが生成する仮説の検証が可能になり、直接推論の脆さを克服できる。
• 逆画像生成、シミュレーションベースの計画（例：MuJoCo）、AlphaGoからの実証的証拠は、因果モデルの探索が、新しい設定でも頑健な性能をもたらすことを示している。
• 科学的アプローチ「仮説を思いついて、計算し、観測と比較する」は、提案された探索・検証フレームワークと類似しており、理論的かつ実用的妥当性を示唆している。
• 敵対的例や分離表現学習といった課題では、学習データを超えた一般化が不可欠であるため、因果モデルは不可欠である。
• 反因果学習に因果モデルを統合することで、補間から仮説駆動の推論へのパラダイム転換が実現され、分布シフト下でも頑健性が得られる。