[論文レビュー] On Distance and Kernel Measures of Conditional Independence

Tianhong Sheng, Bharath K. Sriperumbudur|arXiv (Cornell University)|Dec 2, 2019

Bayesian Modeling and Causal Inference参考文献 28被引用数 4

ひとこと要約

本論文は、距離に基づく測度とカーネルに基づく測度の間の理論的関係を確立し、特定の条件下で一般化条件付き距離コホーショブ（gCdCov）がカーネルに基づく測度（HSCIC）と等価であることを示している。しかし、HSCIC のような一般的なカーネルに基づく条件付き独立性測度は、一般には単純な距離表現を持たず、極限的状況でのみそうなる。これは、同時独立性において等価性が成立するのとは対照的である。

ABSTRACT

Measuring conditional independence is one of the important tasks in statistical inference and is fundamental in causal discovery, feature selection, dimensionality reduction, Bayesian network learning, and others. In this work, we explore the connection between conditional independence measures induced by distances on a metric space and reproducing kernels associated with a reproducing kernel Hilbert space (RKHS). For certain distance and kernel pairs, we show the distance-based conditional independence measures to be equivalent to that of kernel-based measures. On the other hand, we also show that some popular---in machine learning---kernel conditional independence measures based on the Hilbert-Schmidt norm of a certain cross-conditional covariance operator, do not have a simple distance representation, except in some limiting cases. This paper, therefore, shows the distance and kernel measures of conditional independence to be not quite equivalent unlike in the case of joint independence as shown by Sejdinovic et al. (2013).

研究の動機と目的

• 距離に基づく測度とカーネルに基づく測度の間の理論的関係を調査すること。
• 負のタイプの任意の距離空間への条件付き距離コホーショブ（CdCov）の一般化を行い、一般化された条件付き距離コホーショブ（gCdCov）を導入すること。
• gCdCov とカーネルに基づく条件付き独立性測度（HSCIC）との間の等価性を確立すること。
• HSCIC のような一般的なカーネルに基づく測度が、距離測度として表現可能かどうかを検討すること。
• 両方の測度クラスの実証的推定器の統計的性質と計算複雑性を比較すること。

提案手法

• 負のタイプの距離空間への CdCov の一般化を行い、一般化された条件付き距離コホーショブ（gCdCov）を定義する。
• ヒルバート＝シュミットノルムを用いて、条件付きクロスコホーショブ作用素のカーネルに基づく条件付き独立性測度（HSCIC）を定義する。
• 再生ヒルバート空間（RKHS）埋め込みを用いて、特定のカーネルと距離のペアにおいて gCdCov と HSCIC が等価であることを確立する。
• カーネル行列とハット行列を用いて、gCdCov と HSCIC の両方の実証的推定器を導出する。
• ヒルバート空間における測度の集中を用いて、実証的 HSCIC 推定器の一貫性を確立する。
• HSCIC は密度推定を必要としないが、距離に基づく推定器とは異なり、同程度の計算複雑性を維持していることを示す。

実験結果

リサーチクエスチョン

• RQ1 一般化された条件付き距離コホーショブ（gCdCov）が、カーネルに基づく条件付き独立性測度（HSCIC）と等価となる条件は何か？
• RQ2 HSCIC のような一般的なカーネルに基づく条件付き独立性測度が、一般には距離的測度として表現可能であるか、あるいは極限的状況でのみ可能であるか？
• RQ3 gCdCov と HSCIC の実証的推定器は、計算複雑性と統計的一貫性の観点でどのように比較できるか？
• RQ4 距離的測度とカーネル測度の等価性に関して、条件付き独立性と同時独立性の間に根本的な違いがあるか？
• RQ5 カーネルに基づく HSCIC は、距離的測度に基づく CdCov の一般化と見なせるか？

主な発見

• 特定のカーネル（負のタイプ）と距離（負のタイプ）のペアにおいて、一般化された条件付き距離コホーショブ（gCdCov）はカーネルに基づく HSCIC 測度と等価である。
• HSCIC 推定器は一貫しており、実証的 gCdCov 推定器とは異なり、密度推定を必要としない。
• 実証的 HSCIC と gCdCov 推定器は、異なる仮定を有するが、計算複雑性は類似している。
• HSCIC のような一般的なカーネルに基づく条件付き独立性測度は、一般には単純な距離表現を持たず、極限的状況でのみそうなる。
• 距離的測度とカーネル測度の間の等価性は、条件付き独立性においては普遍的ではなく、Sejdinovic 他（2013）が示した同時独立性とは異なり、常に成立しない。
• HSCIC 推定器は、カーネル行列とハット行列を用いて表現でき、KZ、HY、HX を含む閉形式のトレース表現を持つ。