[論文レビュー] The Classification Permutation Test: A Nonparametric Test for Equality of Multivariate Distributions

Johann A. Gagnon-Bartsch, Yotam Shem-Tov|arXiv (Cornell University)|Nov 19, 2016

Advanced Causal Inference Techniques参考文献 10被引用数 3

ひとこと要約

分類順列検定（CPT）は、分類アルゴリズム（例：ロジスティック回帰、ランダムフォレスト）と順列推論を組み合わせることで、共変量が処置割り当てを予測できるかどうかを評価する非パラメトリック手法である。この手法は有限標本における正確な推論を提供し、特に周辺モーメントではなく共変量の連合分布における不均衡が存在する場合、既存の非パラメトリック検定よりも優れた検出力を持つ。

ABSTRACT

The gold standard for identifying causal relationships is a randomized controlled experiment. In many applications in the social sciences and medicine, the researcher does not control the assignment mechanism and instead may rely upon natural experiments, regression discontinuity designs, RCTs with attrition, or matching methods as a substitute to experimental randomization. The standard testable implication of random assignment is covariate balance between the treated and control units. Covariate balance is therefore commonly used to validate the claim of "as-if" random assignment. We develop a new nonparametric test of covariate balance. Our Classification Permutation Test (CPT) is based on a combination of classification methods (e.g. logistic regression or random forests) with Fisherian permutation inference. The CPT is guaranteed to have correct coverage and is consistent under weak assumptions on the chosen classifier. To illustrate the gains of using the CPT, we revisit four real data examples: Lyall (2009); Green and Winik (2010); Eggers and Hainmueller (2009); and Rouse (1995). Monte Carlo power simulations are used to compare the CPT to two existing nonparametric tests of equality of multivariate distributions.

研究の動機と目的

• 観察研究において無作為割り当てが制御されない状況でも、多変量分布の等質性を検証する強固な非パラメトリック検定を開発すること。
• 従来のバランス検定が周辺分布や平均差にのみ注目するという限界を是正すること。これは、共変量の連合分布における複雑な不均衡を逃す可能性があるため。
• 機械学習分類器を厳密な統計的推論と統合することで、共変量不均衡の検出を向上させることの有効性を示すこと。
• 社会科学および生物統計学分野の実応用において、バランステーブルや標準t検定の実用的で解釈可能かつ強力な代替手法を提供すること。

提案手法

• CPTは、観察された共変量に基づいて処置群と対照群を区別する分類器（例：ロジスティック回帰、ランダムフォレスト）を訓練する。
• アウトオブサンプル分類精度率を検定統計量として計算し、共変量が処置状態をどの程度うまく予測できるかを測定する。
• 順列推論を用いて帰無分布を生成する：処置ラベルをユニット間でランダムに再配置し、各再配置ごとに分類精度を再計算する。
• p値は、再配置された標本のうち、分類精度が観測された精度以上であったものの割合として計算され、正確な第一種過誤率の制御が保証される。
• 分類器に弱い仮定のもとで、この手法は一貫性を示す。ただし、分類器が2つの分布を漸近的に区別できることが条件である。
• データスヌーピングを回避するため、著者らは複数の分類器（例：ロジスティック回帰とランダムフォレスト）の結果を報告することを推奨し、アウトオブサンプル精度を用いることで妥当性を確保する。

実験結果

リサーチクエスチョン

• RQ1 分類性能に基づく非パラメトリック検定は、周辺モーメントや平均差に依存する従来の手法よりも、共変量不均衡をより効果的に検出できるか？
• RQ2 CPTは、マルチバリアント分布の差を検出する際、クロスマッチ検定やエネルギー検定といった既存の非パラメトリック検定と比べてどの程度高い検出力を持つのか？
• RQ3 『ブラックボックス』とされる機械学習分類器を、社会科学研究の文脈で妥当で推論に基づいた仮説検定にどの程度活用できるか？
• RQ4 CPTは、自然実験や回帰不連続デザイン、マッチング手法における『ありのままの無作為割り当て』の妥当性を、標準的なバランス診断よりも信頼性高く検証できるか？

主な発見

• モンテカルロシミュレーションにおいて、CPTは、非線形な不均衡や連合分布の差が存在する場合、クロスマッチ検定やエネルギー検定を常に上回る検出力を示した。
• 実データ応用において、CPTはエッガースとハイムミュラー（2009）の研究で、標準的なバランス検定が見逃した共変量不均衡を検出しており、その回帰不連続デザインの妥当性について新たな視点を提供した。
• CPTはグリーンとウィニク（2010）の研究において、『ジャッジズデザイン』の同定戦略を強く支持する証拠を提供し、因果推論の堅牢性を確認した。
• CPTは、たとえランダムフォレストのような柔軟な分類器を用いても、正しいサイズ（第一種過誤率）を維持し、弱い仮定のもとで一貫性を示した。
• インサンプル精度ではなくアウトオブサンプル精度を用いることで、過学習による完全分類（例：過剰適合）に起因する退化行動を防ぎ、妥当な推論を保証した。
• テストセットが処置群と対照群でバランスしている場合、CPTは処置の不均衡に対しても頑健であり、分類器がクラスラベルに一様事前分布を想定するようにキャリブレーションされている限り、有効である。