[論文レビュー] Computing Functions of Random Variables via Reproducing Kernel Hilbert Space Representations

Bernhard Schölkopf, Krikamol Muandet+3 more|arXiv (Cornell University)|Jan 27, 2015

Bayesian Modeling and Causal Inference参考文献 38被引用数 1

ひとこと要約

この論文は、再現核ヒルバート空間（RKHS）表現を用いて確率変数の関数を非パラメトリックに計算する、カーネル確率プログラミングを導入する。確率分布をRKHSにマッピングすることにより、任意の分布に対して関数的演算（例えば、条件付き分布や変換）を可能にし、合成データを用いた非パラメトリック構造方程式モデルおよび因果推論における応用を示している。

ABSTRACT

We describe a method to perform functional operations on probability distributions of random variables. The method uses reproducing kernel Hilbert space representations of probability distributions, and it is applicable to all operations which can be applied to points drawn from the respective distributions. We refer to our approach as {\em kernel probabilistic programming}. We illustrate it on synthetic data, and show how it can be used for nonparametric structural equation models, with an application to causal inference.

研究の動機と目的

• 確率分布に対する関数的演算を実行する非パラメトリックフレームワークの開発。
• パラメトリック仮定を一切用いずに、確率変数の複雑な変換を計算する課題への対処。
• 柔軟で非パラメトリックな表現を用いて、構造方程式モデルにおける因果推論を可能にする。
• 分布からの個々のサンプルに適用可能なすべての操作に適用可能な統一的な計算手法の提供。

提案手法

• カーネル埋め込みを用いて、確率分布を再現核ヒルバート空間（RKHS）の要素として表現する。
• カーネルトリックを活用して、RKHS内で関数的演算（例：条件付き分布、変換）を直接適用する。
• i.i.d.サンプルからのカーネル埋め込みの経験的推定を用いて、分布的演算を近似する。
• 個々の分布からのサンプルに適用可能なすべての操作に、この手法が適用可能であることを保証する。
• RKHSの普遍近似性を活用して、複雑な非パラメトリックな依存関係をモデル化する。
• 非パラメトリック構造方程式モデルおよび合成データ上の因果推論タスクにこのフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 カーネルベースの表現を用いることで、パラメトリック仮定を一切用いずに確率変数の関数的演算を計算できるか？
• RQ2 RKHS埋め込みは、構造方程式モデルにおける非パラメトリック推論をどのように可能にするか？
• RQ3 この手法は、柔軟で非パラメトリックな設定において、どの程度因果推論を支援できるか？
• RQ4 柔軟性と精度の観点から、このカーネルベースの手法は、従来のパラメトリックアプローチと比べてどのように異なるか？

主な発見

• この手法は、RKHS表現を用いて確率変数の関数を非パラメトリックに計算でき、個々のサンプルに定義された任意の操作をサポートする。
• フレームワークは合成データにおける複雑な依存関係を効果的にモデル化し、非ガウス的かつ非線形的関係を捉える柔軟性を示している。
• カーネル確率プログラミングは、パラメトリックな分布的仮定を必要とせず、非パラメトリックな構造方程式モデルにおける因果推論を可能にする。
• 合成データにおける経験的結果から、この手法が確率変数の関数的変換をモデル化する上で実用的で効果的であることが確認された。