[論文レビュー] Conditional independence testing: a predictive perspective

Marco Henrique de Almeida Inácio, Rafael Izbicki+1 more|arXiv (Cornell University)|Jul 31, 2019

Bayesian Modeling and Causal Inference参考文献 12被引用数 4

ひとこと要約

本稿では、予測性能を元データとシャッフル済みデータの間で比較することで、順列に基づくp値を用いて教師あり学習における特徴量の関連性を評価する、新しい条件付き独立性検定COINPを提案する。順列に基づくp値を用いることで、漸近的近似に頼らないランクに基づく推論を採用することで、特に小標本において優れた統計的パワーとより良好な第一種過誤制御を達成し、CPIなどの既存手法を凌駕する。シミュレーションおよび実世界の設定の両方で有効性を示した。

ABSTRACT

Conditional independence testing is a key problem required by many machine learning and statistics tools. In particular, it is one way of evaluating the usefulness of some features on a supervised prediction problem. We propose a novel conditional independence test in a predictive setting, and show that it achieves better power than competing approaches in several settings. Our approach consists in deriving a p-value using a permutation test where the predictive power using the unpermuted dataset is compared with the predictive power of using dataset where the feature(s) of interest are permuted. We conclude that the method achives sensible results on simulated and real datasets.

研究の動機と目的

• 教師あり学習の文脈において、統計的に妥当かつ強力な条件付き独立性検定手法を開発すること。
• 特に小標本サイズにおける第一種過誤制御の悪さとパワーの低さといった、既存手法の限界を是正すること。
• 特徴量の重要度を定量化するのではなく、「この特徴量は関連性があるか？」という問いに答える仮説検定を提供すること。
• CPIなどの先行手法を改善するために、外れ値や分布の仮定に頑健な順列に基づくp値を用いること。
• シミュレーションおよび実世界のデータセット（例：diamondsデータセット）を用いて、本手法の有効性を実証すること。

提案手法

• COINPは、元の特徴量とシャッフル済み特徴量の間のモデル予測性能の差を比較することで、$ H_0: \mathbf{X}^S \perp Y \mid \mathbf{X}^{S^c} $ の帰無仮説を検定する予測フレームワークを用いる。
• 順列検定によりp値を算出する：元データで学習したモデルの予測リスクを、シャッフル済みデータで学習したモデルのリスク分布と比較する。
• B回の順列の各々について、$ \mathbf{X}^S $ の特徴量がサンプル間でランダムにシャッフルされ、帰無仮説下で条件付き独立性が保持される。
• p値は、シャッフル済みデータセットのうち、元のデータセットと同等以上に良い予測性能を示した割合として推定される。
• 本手法は、原始的な損失値やt検定に依存せず、予測性能の順位に基づく推論に依存するため、外れ値に対して頑健である。
• 線形回帰、ランダムフォレスト、ニューラルネットワークなどのさまざまな予測モデルを用いて実装され、複数のシミュレーション設定で性能が評価された。

実験結果

リサーチクエスチョン

• RQ1 COINPは、多様なデータ分布および標本サイズにおいて、帰無仮説下で適切なp値の一様性を維持するか？
• RQ2 高次元または非線形な設定において、COINPの統計的パワーはCPIや他の手法と比べてどうか？
• RQ3 漸近的近似が失敗する小標本状況において、COINPは既存手法を上回るパワーを達成できるか？
• RQ4 特にニューラルネットワークのような複雑なモデルを用いた場合に、COINPは外れ値およびモデルの誤指定に対して頑健か？
• RQ5 COINPのp値分布は帰無仮説下で一様性を示すか？また、CPIと比べてその点でどう異なるか？

主な発見

• COINPは、共変数が依存するような状況を含め、広範な設定において帰無仮説下で適切なp値の一様性を達成した。これは、近似手法が失敗する状況でも成立する。
• 特に小標本サイズおよび共変数が依存する状況において、COINPはCPIよりも顕著に第一種過誤率の制御が優れている。
• すべてのシミュレーション設定において、COINPはCPIよりも高い統計的パワーを示した。特に線形回帰モデルを用いた場合に、最大の向上が観察された。
• COINPのパワーは標本サイズが増加するにつれて上昇し、一貫性があることが示された。$ n = 10,000 $ の設定では $ n = 1,000 $ の設定よりも高いパワーを示した。
• COINPは、原始的な損失値に依存するCPIとは異なり、順位に基づく推論を採用しているため、外れ値に対して頑健である。
• diamondsデータセットの分析において、COINPは全特徴量をすべて有意（p < 0.05）と正しく特定した。一方、CPIは特にニューラルネットワークを用いた場合に一貫性のない結果を示した。