[論文レビュー] Causal Discovery Using Proxy Variables

Mateo Rojas-Carulla, Marco Baroni+1 more|arXiv (Cornell University)|Feb 23, 2017

Bayesian Modeling and Causal Inference参考文献 31被引用数 10

ひとこと要約

本論文は、芸術作品、文書、語のペアなどの静的実体同士の因果関係を推定するためのプロキシ変数フレームワークを導入する。このフレームワークは、統計的射影によって静的実体を観察可能な確率変数に変換する。人為的にアノテートされた10,000語のペアを含むデータセットにおいて、因果関係の同定に75%の正確性を達成し、人間の直感と整合性を示す。

ABSTRACT

Discovering causal relations is fundamental to reasoning and intelligence. In particular, observational causal discovery algorithms estimate the cause-effect relation between two random entities $X$ and $Y$, given $n$ samples from $P(X,Y)$. In this paper, we develop a framework to estimate the cause-effect relation between two static entities $x$ and $y$: for instance, an art masterpiece $x$ and its fraudulent copy $y$. To this end, we introduce the notion of proxy variables, which allow the construction of a pair of random entities $(A,B)$ from the pair of static entities $(x,y)$. Then, estimating the cause-effect relation between $A$ and $B$ using an observational causal discovery algorithm leads to an estimation of the cause-effect relation between $x$ and $y$. For example, our framework detects the causal relation between unprocessed photographs and their modifications, and orders in time a set of shuffled frames from a video. As our main case study, we introduce a human-elicited dataset of 10,000 pairs of casually-linked pairs of words from natural language. Our methods discover 75% of these causal relations. Finally, we discuss the role of proxy variables in machine learning, as a general tool to incorporate static knowledge into prediction tasks.

研究の動機と目的

• 従来の観察的因果発見手法が直接適用できない、絵画とその偽物や語とその意味的結果といった静的実体間の因果関係を推定する課題に対処すること。
• 静的実体を測定可能な確率変数に変換するプロキシ変数を導入することで、観察データからの因果発見を可能にする汎用フレームワークの構築。
• 画像変更タスクおよび大規模な自然言語因果関係データセットにおいて、このフレームワークの実証的妥当性を検証し、実世界のシナリオにおける有効性を示すこと。
• 外部知識を機械学習モデルに統合するための一般化可能なツールとしてのプロキシ変数の可能性を検討すること。

提案手法

• 静的実体 x および y に関連する統計的情報を提供するプロキシ変数 W を導入し、x および y から確率変数 A および B を構築可能にする。
• 2変数 (x,y) の同時分布をプロキシ変数の分布へ写像する写像関数 π を定義し、因果発見に適した統計的表現を生成する。
• 観察的因果発見アルゴリズム（例：RCC、LiNGAM）を、射影された変数 (A,B) に適用し、元の静的実体 (x,y) 間の因果方向を推定する。
• 射影されたサンプルの2次元分布全体を入力として扱う分布ベースの因果発見手法を採用し、特徴量の順序変更や削除に対して不変性を確保する。
• raw word2vec 特徴量と射影された分布の両方を用いて分類器（例：ランダムフォレスト）を訓練・評価し、特徴量ベースと分布ベースのアプローチの性能を比較する。
• 人為的にアノテートされた信頼度スコアを活用し、モデルの予測と人間が認識した因果関係との整合性を検証する。

実験結果

リサーチクエスチョン

• RQ1 プロキシ変数は、因果発見に適した観察可能な確率変数に静的実体を効果的に変換できるか？
• RQ2 提案されたフレームワークは、画像変更タスクおよび動画フレームの順序付けにおいて、既知の因果関係をどの程度回復できるか？
• RQ3 自然言語因果関係、特に「事故 → 受傷」のような因果ペアの検出において、この手法はどの程度一般化可能か？
• RQ4 真の因果構造を捉える能力において、分布ベースの因果発見手法と特徴量ベースのベースライン手法の性能はどのように比較されるか？
• RQ5 プロキシ変数は、外部知識を機械学習モデルに統合する一般化可能なメカニズムとして機能できるか？

主な発見

• 提案されたプロキシ変数フレームワークは、人為的にアノテートされた10,000の因果関係付き語のペアを含むデータセットにおいて、因果関係の同定に75%の正確性を達成した。
• 本手法は画像変更の80%のケースで因果方向を正しく推定し、シャッフルされた動画フレームを多数の試行で正しく順序付けできた。
• 分布ベースの因果発見手法はベースライン手法を上回り、最も優れた手法で75%のテスト正確性を達成した。これは59%のベースライン性能を著しく上回る。
• πw2voi 射影に基づくRCC手法が最高の性能を示し、原因語に条件づけられた語彙の分布が、結果語に条件づけられた分布に影響を与えている可能性を示唆している。
• モデルの分類正確性と人為的にアノテートされた因果関係の信頼度スコアとの間に強い正の相関が観察され、人間の直感と整合していることが示された。
• 特徴量ベースの手法は最大85%の正確性を達成したが、過学習や特徴量の順序変更に対して脆弱であった。一方、分布ベースの手法はより頑健で、一般化性能に優れていた。