[論文レビュー] A Kernel Test for Three-Variable Interactions

Dino Sejdinović, Arthur Gretton+1 more|London School of Economics and Political Science Research Online (London School of Economics and Political Science)|Jun 10, 2013

Bayesian Modeling and Causal Inference参考文献 34被引用数 25

ひとこと要約

本稿では、符号付き測度の再生核ヒルベルト空間（RKHS）埋め込みを用いて、3変数の相互作用を検出するカーネルベースの非パラメトリック検定を提案する。この手法により、加法的でない高次元の依存関係を一貫して検出可能となる。ラスカンツ相互作用検定は、個々の原因が共通の結果に弱い影響を及えるが、共同で強い依存関係を生じるV構造の検出において、対比較および条件付き独立性検定を上回る性能を示す。

ABSTRACT

We introduce kernel nonparametric tests for Lancaster three-variable interaction and for total independence, using embeddings of signed measures into a reproducing kernel Hilbert space. The resulting test statistics are straightforward to compute, and are used in powerful interaction tests, which are consistent against all alternatives for a large family of reproducing kernels. We show the Lancaster test to be sensitive to cases where two independent causes individually have weak influence on a third dependent variable, but their combined effect has a strong influence. This makes the Lancaster test especially suited to finding structure in directed graphical models, where it outperforms competing nonparametric tests in detecting such V-structures.

研究の動機と目的

• 2変数の独立性を超える非加法的かつ高次元の依存関係を検出可能な、3変数相互作用の非パラメトリック検定を開発すること。
• 2つの独立な原因が個別には弱い効果を示すが、第3の変数に強い影響を及える場合に、従来の検定手法がそのようなケースを特定できないという限界を克服すること。
• 多変量および構造的データ（非ユークリッド領域を含む）に適用可能な一貫性のあるカーネルベースの検定を提供すること。
• 条件付き独立性検定よりも効果的にV構造を検出することで、有向グラフィカルモデルの構造学習を改善すること。
• 再生核ヒルベルト空間（RKHS）における符号付き測度の埋め込みを用いて、ヒルベルト＝シュミット独立性基準（HSIC）を3方向の相互作用に一般化すること。

提案手法

• 3変数相互作用（ラスカンツ相互作用）を表す符号付き測度を、テンソル積カーネルを用いて再生核ヒルベルト空間（RKHS）に埋め込む。
• 埋め込まれた符号付き測度のRKHSノルムの二乗を検定統計量として定義し、これはかつてすべての3次元要因分解が満たされる場合に限り0となる。
• 帰無仮説（3変数相互作用なし）のp値を、パーミュテーションに基づく手法で計算する。
• 多変量および構造的データにおけるラスカンツ相互作用（非加法的な結合的依存関係）および完全独立性の検出に本検定を適用する。
• 因子分解検定を複数回行う状況における第一種の過誤を制御するため、ホルム＝ボンフェローニ補正を用いる。
• 適切なカーネル選択により、非ユークリッド的または複雑なドメインの変数を扱うフレームワークを一般化する。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックなカーネル検定は、対比較独立性検定が見逃す3変数相互作用を検出可能か？
• RQ2 有向グラフィカルモデルにおけるV構造の検出において、提案されたラスカンツ相互作用検定は条件付き独立性検定と比較してどのように性能を発揮するか？
• RQ3 カーネルベースのRKHS埋め込みアプローチは、高次元または構造的データにおける非加法的で高次元の依存関係を効果的に検出可能か？
• RQ4 個々の変数が弱い周辺効果を示すが、第3の変数に強い共同影響を及える状況において、本検定は高い統計的パワーを維持できるか？
• RQ5 本手法は、3つ以上の変数における完全独立性を一貫的かつ計算的に実行可能なかたちで拡張可能か？

主な発見

• ラスカンツ相互作用検定は、個々の原因が弱い周辺効果を示すが、共同で強い影響を及える場合に、対比較独立性および条件付き依存性検定を著しく上回る性能を示す。
• 高次元設定（p > 5）において、ラスカンツ統計量は、競合手法と比較して顕著に低い第二種の過誤を示す。特に、相互作用がより複雑なデータセットAでは顕著である。
• 本検定は、広いクラスの再生核に対してすべての代替仮説に対して一貫性を示し、非加法的相互作用の信頼性の高い検出を保証する。
• 本手法は、変数が2変数間で独立であるが、高次元の相互作用により相関関係を示すケース（古典的な{-1,1}トリプレット例など）を効果的に検出できる。
• RKHS埋め込みフレームワークにより、多変量および構造的データ（非ユークリッド領域を含む）に、パラメトリックな仮定を必要とせずに適用可能である。
• 完全独立性検定は、3つ以上の変数へ自然に一般化可能であるが、高次元相互作用検出は組み合わせ的複雑性のため計算コストが高くなる。