[論文レビュー] Aggregated test of independence based on HSIC measures

Anouar Meynaoui, Béatrice Laurent+2 more|arXiv (Cornell University)|Feb 15, 2019

Random Matrices and Applications参考文献 36被引用数 4

ひとこと要約

本稿では、複数のガウスカーネルにおける帯域幅を自動的に選択する、集約されたHSICに基づく独立性検定を提案する。この手法は、手動によるカーネル選択を回避し、Sobolev球上でのミニマックス適応最適性を達成する。非漸近的分離率の鋭い理論的境界が示され、数値的検証によって裏付けられている。

ABSTRACT

Dependence measures based on reproducing kernel Hilbert spaces, also known as Hilbert-Schmidt Independence Criterion and denoted HSIC, are widely used to statistically decide whether or not two random vectors are dependent. Recently, non-parametric HSIC-based statistical tests of independence have been performed. However, these tests lead to the question of the choice of the kernels associated to the HSIC. In particular, there is as yet no method to objectively select specific kernels with theoretical guarantees in terms of first and second kind errors. One of the main contributions of this work is to develop a new HSIC-based aggregated procedure which avoids such a kernel choice, and to provide theoretical guarantees for this procedure. To achieve this, we first introduce non-asymptotic single tests based on Gaussian kernels with a given bandwidth, which are of prescribed level $\\alpha \\in (0,1)$. From a theoretical point of view, we upper-bound their uniform separation rate of testing over Sobolev and Nikol'skii balls. Then, we aggregate several single tests, and obtain similar upper-bounds for the uniform separation rate of the aggregated procedure over the same regularity spaces. Another main contribution is that we provide a lower-bound for the non-asymptotic minimax separation rate of testing over Sobolev balls, and deduce that the aggregated procedure is adaptive in the minimax sense over such regularity spaces. Finally, from a practical point of view, we perform numerical studies in order to assess the efficiency of our aggregated procedure and compare it to existing independence tests in the literature.

研究の動機と目的

• HSICに基づく手法における帯域幅選択の困難さを回避する、非漸近的かつ適応的な独立性検定の開発。
• Sobolev球上での集約的手法に関する理論的保証の確立、特にSobolev球上での一様分離率に対する鋭い上界の導出。
• 同じSobolevクラス上での非漸近的ミニマックス分離率の下界を導出し、集約検定がSobolev正則性空間においてミニマックス適応的であることを証明。
• 既存のHSICに基づくおよび非HSICの独立性検定と比較して、有限標本における集約検定の実用的性能の評価。

提案手法

• 固定帯域幅を用いたガウスカーネルによる単一HSIC検定を構築し、各検定が所定の水準αで第一種の誤りを制御するようにする。
• 複数の帯域幅にわたる複数の単一検定を、データ駆動型の組み合わせルールを用いて集約することで、ロバスト性と適応性を向上させる。
• 集約検定統計量の帰無分布を近似するためにパーミュテーション手法を用い、有効なサイズ制御を確保する。
• 平滑性δのSobolev球上での集約手続きの非漸近的上界としての一様分離率を導出する。
• 同じSobolevクラス上での非漸近的ミニマックス分離率の下界を確立し、Sobolev球上でのミニマックス意味での最適性を証明する。
• U統計量のモーメントバウンドと集中不等式を用いて、帰無仮説下での二乗検定統計量の期待値を制御する。

実験結果

リサーチクエスチョン

• RQ1 未知の依存構造の滑らかさに適応するが、手動による帯域幅選択を必要としない集約HSIC検定を構築可能か？
• RQ2 平滑性δのSobolev球上での集約HSIC検定の非漸近的一致分離率は何か？
• RQ3 提案された集約検定は、Sobolev球上での非漸近的意味でミニマックス最適か？
• RQ4 有限標本において、集約検定の性能は既存のHSICに基づくおよび非HSICの独立性検定と比べてどうか？
• RQ5 モーメント法とU統計量理論を用いて、分離率に関する理論的保証を確立可能か？

主な発見

• 集約HSIC検定は、Sobolev球上での一様分離率が定数倍の誤差内で非漸近的ミニマックスレートと一致し、ミニマックス適応的であることを示した。
• 一様分離率の上界は、平滑性δおよび次元(p,q)に対してn^{-(2δ+p+q)/(4δ+2p+2q)}のオーダーであり、既知のミニマックスレートと一致する。
• ミニマックス分離率の下界が導出され、集約手続きがSobolev球上でのミニマックス意味で最適であることが確認された。
• 理論的解析により、帰無仮説下での二乗検定統計量の期待値が一様に有界であることが示され、安定性とサイズ制御が保証された。
• 数値的検証では、固定帯域幅を用いた標準HSIC検定および他の最先端の独立性検定よりも、さまざまな状況で集約検定が優れた性能を示した。
• この手法は、滑らかさのレベルや次元にかかわらずロバストであり、帯域幅選択を除いてはチューニングが不要であり、集約により自動化されている。