[論文レビュー] Group invariance principles for causal generative models

Michel Besserve, Naji Shajarisales+2 more|arXiv (Cornell University)|May 5, 2017

Biomedical Text Mining and Ontologies被引用数 21

ひとこと要約

本稿は、原因と作用の独立性（ICM）原理に基づく因果推論手法を統一的かつ一般化する群論的枠組みを提案する。原因に一般群変換を適用し、対照関数を用いて不変性を評価することで、ロバストな因果生成モデリングが可能となり、特に教師なし学習およびGANsにおける学習安定性とデータ分布への耐性が不変性原理から自然に生じる。

ABSTRACT

The postulate of independence of cause and mechanism (ICM) has recently led to several new causal discovery algorithms. The interpretation of independence and the way it is utilized, however, varies across these methods. Our aim in this paper is to propose a group theoretic framework for ICM to unify and generalize these approaches. In our setting, the cause-mechanism relationship is assessed by comparing it against a null hypothesis through the application of random generic group transformations. We show that the group theoretic view provides a very general tool to study the structure of data generating mechanisms with direct applications to machine learning.

研究の動機と目的

• 原因と作用の独立性（ICM）原理に基づく多様な因果推論アルゴリズムを、一つの理論的枠組みで統一すること。
• ICMを原因-作用ペアの範囲を超えて、潜在変数モデルや複雑な生成構造へ一般化すること。
• 群作用と対照関数を用いて、データ生成メカニズムにおける「一般性」を原理的かつ明確に定式化すること。
• 本フレームワークが教師なし学習および生成モデリング、特にGANsにおいてどのように有用であるかを示すこと。
• ICMと敵対的訓練の間の関係を確立し、GANsが一般変換の下での不変性を暗黙的に強制していることを示すこと。

提案手法

• フレームワークは、原因変数に作用する一般群の変換を用い、メカニズムが原因の摂動にどのように反応するかをモデル化する。
• 対照関数を定義し、一般群作用の下でもメカニズムが典型的（すなわち一般的）であるかを評価することで、ICM原理を形式化する。
• 群作用における期待対照関数を評価する：⟨D⟩_{G,z₀} = E_{g∼μ_G}[log(D(G(gz₀)))] であり、GANの学習目的と関連付ける。
• 従来のICM手法では手作業で定義された独立性尺度に代わり、群不変な統計的検定を用いることで、手法を一般化する。
• 不変性を破る非一般的構成を検出することで、因果構造の同定とロバストな生成モデリングを可能にする。
• 生成モデルの改善を図るため、変換された原因（例：ノイズベクトル）が判別器の対照関数の下でも妥当な出力を生成することを保証することで、GANsの分析と改善にフレームワークを応用する。

実験結果

リサーチクエスチョン

• RQ1 多様な因果推論手法を統一する枠組みとして、ICM原理をどのように形式化できるか？
• RQ2 群作用は、原因-メカニズム関係の一般性を定義する上で果たす役割は何か？
• RQ3 群論的視点により、ICMに基づく推論を原因-作用ペアを越えて、潜在変数モデルや階層的モデルへ拡張可能か？
• RQ4 一般群変換の下でのメカニズムの不変性は、生成モデリングにおけるロバスト性とどのように関係するか？
• RQ5 GANsにおける敵対的訓練は、群不変な対照関数を通じてICM仮説をどの程度暗黙的に満たしているか？

主な発見

• 群論的枠組みは、Janzingら（2010）やShajarisalesら（2015）の先行手法を包含する一般的かつ統一的な基盤を提供する。
• フレームワークは、部分的な物体マスキングがあるシーンにおける遮蔽順序の同定など、視覚的認識タスクにおける因果構造の同定を可能にする。
• GANの学習目的は、ノイズ入力の一般群変換の下での不変性を強制することと解釈でき、ICM原理と整合的である。
• GANの実験的成功は、出力が一般入力摂動の下でも典型的であるという一般性条件を暗黙的に満たしていることによって説明できる。
• フレームワークは、入力だけでなく中間層に対しても不変性を強制することで、GANのロバスト性と分離性の向上が可能であると示唆する。
• GANにおける対照関数（判別器によって実装）は、群変換の下での典型性の尺度として機能し、深層生成モデルにおけるICM仮説を形式化する。