[論文レビュー] A simpler condition for consistency of a kernel independence test

Arthur Gretton|arXiv (Cornell University)|Jan 25, 2015

Fault Detection and Control Systems参考文献 12被引用数 10

ひとこと要約

この論文は、ヒルバート＝シュミット独立性基準（HSIC）を用いたカーネルベースの独立性検定の整合性条件を簡素化する。HSIC検定が、結合領域上の積カーネルが特徴的である必要がないこと、すなわち個々の領域 𝒳 および 𝒴 上のカーネルが特徴的であれば十分であることを証明することで、直交行列や非負のベクトルなどの複雑な領域への応用範囲を広げる。

ABSTRACT

A statistical test of independence may be constructed using the Hilbert-Schmidt Independence Criterion (HSIC) as a test statistic. The HSIC is defined as the distance between the embedding of the joint distribution, and the embedding of the product of the marginals, in a Reproducing Kernel Hilbert Space (RKHS). It has previously been shown that when the kernel used in defining the joint embedding is characteristic (that is, the embedding of the joint distribution to the feature space is injective), then the HSIC-based test is consistent. In particular, it is sufficient for the product of kernels on the individual domains to be characteristic on the joint domain. In this note, it is established via a result of Lyons (2013) that HSIC-based independence tests are consistent when kernels on the marginals are characteristic on their respective domains, even when the product of kernels is not characteristic on the joint domain.

研究の動機と目的

• HSICに基づく独立性検定の整合性に関する、より単純で実用的な条件を同定すること。
• 従来の整合性条件が結合領域上の積カーネルが特徴的でなければならないという制限を克服すること。
• 個々の周辺領域 𝒳 および 𝒴 上のカーネルが特徴的であれば、整合性が保証されることを示すこと。
• 結合領域上の特徴的カーネルが定義しにくい、たとえば構造化された領域におけるHSICの利用を可能にする理論的基盤を提供すること。
• 両方の領域が特徴的カーネルを持つ必要があること——片方の領域でのみ特徴的カーネルがある場合、整合性が失敗することを明確にすること。

提案手法

• Lyons (2013) の符号付き測度のRKHSへの単射埋め込みに関する結果を活用して、整合性条件を確立する。
• Grettonら (2012) の補題3.8を適用し、共分散作用素がゼロであれば依存測度もゼロであることを示す。
• 単射埋め込みを保証するため、特徴的で、変位不変かつ c₀-カーネルを用いる。
• 符号付き測度 θ = P_XY − P_XP_Y を定義し、そのテンソル積空間への埋め込みがゼロであることと θ = 0 が同値であることを示す。
• RKHS上の特徴マップ φ および ψ を用いて、結合領域上の積分を介して共分散作用素 C_YX を構築する。
• 結合領域上の特徴的カーネルを必要とせず、各領域上の測度の単射埋め込みを個別に確立する。

実験結果

リサーチクエスチョン

• RQ1 結合領域上の積カーネルが特徴的である必要があるという条件よりも弱い条件下で、HSICに基づく独立性検定の整合性を保証できるか？
• RQ2 結合領域上の積カーネルが特徴的でなくても、個々の領域 𝒳 および 𝒴 上のカーネルが特徴的であれば十分か？
• RQ3 直交行列や非負のベクトルのような構造化された領域に、HSIC検定を一貫して適用できるか？ ここで結合領域上の特徴的カーネルが定義しにくい。
• RQ4 HSIC検定がすべての形の依存を検出できるために、カーネルに必要な最小限の要件は何か？
• RQ5 片方の領域でのみ特徴的カーネルがある場合（例：ℝ 上の線形カーネル）、なぜ整合性が失敗するのか？

主な発見

• HSICに基づく独立性検定は、結合領域上の積カーネルが特徴的でなくても、個々の領域 𝒳 および 𝒴 上のカーネルが特徴的であれば整合的である。
• 証明は、特徴的で、変位不変かつ c₀-カーネルを用いた符号付き測度のRKHSへの単射埋め込みに依存する。
• 主な結果は、C_YX = 0 ならば θ = 0 であり、θ = P_XY − P_XP_Y である。これは独立性を意味する。
• 結合領域上の積カーネルが特徴的である必要があるという条件よりも厳密に弱く、複雑な領域への応用範囲を広げる。
• 反例により、片方の領域でのみ特徴的カーネルがある場合（例：ℝ 上の線形カーネル）、検定が依存を検出できないことが示され、たとえば円環データの例で失敗する。
• この結果は、一般でかつ頑健である：任意のペアの特徴的で、変位不変かつ c₀-カーネルが、パラメトリックで、局所的にコンパクトなハウスドルフ空間上に存在する。