[論文レビュー] The conditional permutation test

Thomas B. Berrett, Yi Wang+2 more|arXiv (Cornell University)|Jul 14, 2018

Bayesian Methods and Mixture Models被引用数 6

ひとこと要約

本稿では、高次元の交絡要因Zの下でのXとYの条件付き独立性を評価するための条件付き順列検定を導入する。この手法は、Xの値を非一様に順列置き換えすることで、Zとの依存関係を保持する。推定された条件付き分布X|Zを用いて順列の重みをガイドすることで、近似誤差が存在しても妥当な第一種の誤りの制御が可能であり、条件付きランダム化検定と同等の誤差バウンダリーを達成する。

ABSTRACT

We propose a general new method, the \emph{conditional permutation test}, for testing the conditional independence of variables $X$ and $Y$ given a potentially high-dimensional random vector $Z$ that may contain confounding factors. The proposed test permutes entries of $X$ non-uniformly, so as to respect the existing dependence between $X$ and $Z$ and thus account for the presence of these confounders. Like the conditional randomization test of \citet{candes2018panning}, our test relies on the availability of an approximation to the distribution of $X \mid Z$---while \citet{candes2018panning}'s test uses this estimate to draw new $X$ values, for our test we use this approximation to design an appropriate non-uniform distribution on permutations of the $X$ values already seen in the true data. We provide an efficient Markov Chain Monte Carlo sampler for the implementation of our method, and establish bounds on the Type~I error in terms of the error in the approximation of the conditional distribution of $X\mid Z$, finding that, for the worst case test statistic, the inflation in Type I error of the conditional permutation test is no larger than that of the conditional randomization test. We validate these theoretical results with experiments on simulated data and on the Capital Bikeshare data set.

研究の動機と目的

• 高次元の交絡要因Zが存在する状況において、標準的な独立性検定が歪められるという課題に対処すること。
• 順列の過程でXとZの依存構造を尊重する手法を開発し、交絡による誤った推論を回避すること。
• 条件付き分布X|Zが正確に分かっていない場合でも、第一種の誤りの制御を保証すること。
• 誤差保証が同等の条件下で、条件付きランダム化検定の計算的に効率的な代替手法を提供すること。
• シミュレートデータおよび実世界のCapital Bikeshareデータを用いて、手法の実証的妥当性と頑健性を検証すること。

提案手法

• X|Zの推定値を用いて、XとZの観察された依存関係を保持する非一様な順列スキームを提案する。
• X|Zの近似値によって定義される非一様順列分布から、効率的にサンプリングするためのマルコフ連鎖モンテカルロ（MCMC）サンプラーを設計する。
• 推定されたX|Zを用いて、条件付きモデル下での各順列配置の妥当性を反映するように順列確率を割り当てる。
• 第一種の誤りの過大評価に関する理論的バウンダリーを確立し、同じ近似誤差下で、条件付きランダム化検定のそれ以上に大きくならないことを示す。
• 合成データおよびCapital Bikeshareデータセットにこの検定を適用し、実証的性能と頑健性を検証する。

実験結果

リサーチクエスチョン

• RQ1 交絡要因Zが高次元的であり、かつ正確には分かっていない場合に、順列ベースの検定が妥当な第一種の誤りを維持できるか？
• RQ2 X|Zの推定値に従って非一様な順列が行われることで、一様な順列に比べて条件付き独立性検定においてどのように改善されるか？
• RQ3 X|Zにおける近似誤差と、条件付き順列検定における第一種の誤りの増加との間の理論的関係は何か？
• RQ4 条件付き順列検定は、条件付きランダム化検定と比較して、性能および誤差制御の点でどのように異なるか？
• RQ5 提案手法は、複雑な交絡構造を持つ実世界のデータセットに対しても、効率的に実装可能で適用可能か？

主な発見

• 条件付き順列検定は、X|Zの近似が存在する状況でも第一種の誤りの制御を維持でき、誤差の過大評価は条件付きランダム化検定と同程度に抑えられる。
• 最悪ケースの検定統計量に関して、同じX|Z近似を使用した場合、第一種の誤りの最大過大評価は、条件付きランダム化検定のそれ以上に大きくならない。
• MCMCサンプラーにより、非一様順列の効率的実装が可能となり、高次元のZに対してもスケーラブルな手法となる。
• シミュレートデータに対する実証的検証により、理論的な誤差バウンダリーが実際の状況でも成り立つことが確認された。
• Capital Bikeshareデータセットへの応用により、複雑な交絡要因を伴う実世界の設定において、本手法の実用性が示された。