[論文レビュー] From Dependence to Causation

David López-Paz|arXiv (Cornell University)|Jul 12, 2016

Bayesian Modeling and Causal Inference参考文献 20被引用数 13

ひとこと要約

本稿では、再帰的ヒルバート空間（RKHS）における正則化リスク最小化問題として定式化することで、従属するデータからの学習のためのフレームワークを提案する。正則化項は仮説のノルムの厳密に増加する関数として定義される。主な結果として、任意の正則化リスクの最小化子は、表現定理を満たし、学習データの入力に中心を持つカーネル関数の有限線形結合として表現可能であることが保証される。これにより、従属性の仮定のもとで実用的な計算と一般化保証が可能となる。

ABSTRACT

Machine learning is the science of discovering statistical dependencies in data, and the use of those dependencies to perform predictions. During the last decade, machine learning has made spectacular progress, surpassing human performance in complex tasks such as object recognition, car driving, and computer gaming. However, the central role of prediction in machine learning avoids progress towards general-purpose artificial intelligence. As one way forward, we argue that causal inference is a fundamental component of human intelligence, yet ignored by learning algorithms. Causal inference is the problem of uncovering the cause-effect relationships between the variables of a data generating system. Causal structures provide understanding about how these systems behave under changing, unseen environments. In turn, knowledge about these causal dynamics allows to answer "what if" questions, describing the potential responses of the system under hypothetical manipulations and interventions. Thus, understanding cause and effect is one step from machine learning towards machine reasoning and machine intelligence. But, currently available causal inference algorithms operate in specific regimes, and rely on assumptions that are difficult to verify in practice. This thesis advances the art of causal inference in three different ways. First, we develop a framework for the study of statistical dependence based on copulas and random features. Second, we build on this framework to interpret the problem of causal inference as the task of distribution classification, yielding a family of novel causal inference algorithms. Third, we discover causal structures in convolutional neural network features using our algorithms. The algorithms presented in this thesis are scalable, exhibit strong theoretical guarantees, and achieve state-of-the-art performance in a variety of real-world benchmarks.

研究の動機と目的

• 機械学習における独立同分布（i.i.d.）の仮定が成り立たない従属データからの学習の課題に対処すること。
• 仮説のノルムペナルティを含む正則化リスク関数を通じて依存性を組み込む一般化フレームワークの構築。
• 正則化リスク最小化の最小化子に対して表現定理を証明することで、依存性のもとでのRKHSにおける学習の理論的基盤を確立すること。
• 最適な仮説が、計算可能性を保証する有限次元のカーネル関数の線形結合として表現可能であることを保証すること。

提案手法

• 仮説 f のノルムの厳密に増加関数 g による正則化項を用いて、再帰的ヒルバート空間（RKHS）における正則化リスク最小化問題を定式化する。
• 入力出力ペアと予測値を拡大実数に写像するリスク関数 R を定義し、訓練データ上の損失を捉える。
• モデルの複雑さを制御し、依存性のもとでの安定性を確保するため、正則化項 g(‖f‖) を導入する。
• 任意の正則化リスクの最小化子 f⋆ が、f(⋅) = Σᵢ₌₁ⁿ αᵢk(xᵢ, ⋅)（αᵢ ∈ ℝ）の形に表現可能であることを、表現定理を用いて証明する。
• RKHSの構造と g の厳密な単調増加性を用いて、弱い条件下でも解の存在と一意性を保証する。
• 解が訓練点におけるカーネル評価にのみ依存するため、計算の実行可能性を保証する。

実験結果

リサーチクエスチョン

• RQ1 独立同分布（i.i.d.）の仮定を越えて、従属データに対する正則化リスク最小化フレームワークを構築できるか？
• RQ2 RKHSにおける正則化リスクの最小化子は、カーネル関数の有限次元表現として表現可能か？
• RQ3 厳密に増加関数 g(‖f‖) の選択が、学習モデルの一般化性能と安定性にどのように影響するか？
• RQ4 カーネル法を用いた依存性のもとでの学習に対して、どのような理論的保証を導出できるか？

主な発見

• RKHSにおける最適な仮説 f⋆ は、f(⋅) = Σᵢ₌₁ⁿ αᵢk(xᵢ, ⋅) の形で、学習データの入力に中心を持つカーネル関数の有限線形結合として表現可能である。
• 正則化項 g(‖f‖) が厳密に増加であるという仮定のもとで、表現定理が成立し、解が明確かつ一意に定まる。
• リスク関数 R に依存性を埋め込むことで、i.i.d. のサンプリングを要件としない従属データからの学習が可能となる。
• 解が訓練点におけるカーネル評価にのみ依存するため、実用的な実装が可能である。
• 理論的枠組みにより、依存性のもとでの一般化バウンドと安定性解析が可能となり、古典的なカーネル法が拡張される。
• 本結果は、リスク関数を通じて依存性を明示的にモデル化する設定において、古典的な表現定理を一般化する。