[論文レビュー] The Projected Covariance Measure for assumption-lean variable significance testing

Anton Rask Lundborg, Ilmun Kim+2 more|arXiv (Cornell University)|Nov 3, 2022

Statistical Methods and Inference被引用数 9

ひとこと要約

本稿では、スプラインやランダムフォレストなどの柔軟な非パラメトリックまたは機械学習手法を活用して、条件付き平均独立性をテストするモデルフリーな手法、予測共分散尺度（Projected Covariance Measure, PCM）を導入する。データを分割して投影と条件付き共分散を推定することで、PCMは誤りコントロールの強さと最小最大最適パワーを達成し、シミュレーションにおいてパラメトリック手法や既存の非パラメトリック手法を上回る性能を示す。

ABSTRACT

Testing the significance of a variable or group of variables $X$ for predicting a response $Y$, given additional covariates $Z$, is a ubiquitous task in statistics. A simple but common approach is to specify a linear model, and then test whether the regression coefficient for $X$ is non-zero. However, when the model is misspecified, the test may have poor power, for example when $X$ is involved in complex interactions, or lead to many false rejections. In this work we study the problem of testing the model-free null of conditional mean independence, i.e. that the conditional mean of $Y$ given $X$ and $Z$ does not depend on $X$. We propose a simple and general framework that can leverage flexible nonparametric or machine learning methods, such as additive models or random forests, to yield both robust error control and high power. The procedure involves using these methods to perform regressions, first to estimate a form of projection of $Y$ on $X$ and $Z$ using one half of the data, and then to estimate the expected conditional covariance between this projection and $Y$ on the remaining half of the data. While the approach is general, we show that a version of our procedure using spline regression achieves what we show is the minimax optimal rate in this nonparametric testing problem. Numerical experiments demonstrate the effectiveness of our approach both in terms of maintaining Type I error control, and power, compared to several existing approaches.

研究の動機と目的

• モデルの誤り指定が結果のパワーを低下させたり、第一種の誤り率を上昇させたりする場合に、パラメトリックモデルの限界を克服すること。
• 条件付き平均独立性のためのモデルフリーな検定を構築すること。ここで、YのXおよびZのもとでの条件付き平均がXに依存しないこと。
• スプラインやランダムフォレストなどの柔軟な非パラメトリックまたは機械学習手法（例：スプライン、ランダムフォレスト）を用いることができるが、第一種の誤り率の制御を維持すること。
• 非パラメトリックな条件付き平均独立性検定において、最小最大最適な検出レートを達成すること。
• 既存の手法よりもモデル誤指定下でパワーと誤りコントロールの両面で優れる、一般化可能で仮定に依存しないフレームワークを提供すること。

提案手法

• データを二分割する。一方の部分は、非パラメトリック回帰を用いてYのXおよびZへの投影を推定する。
• もう一方の部分は、投影されたYと元のYの間の条件付き共分散を推定するために使用され、検定統計量が形成される。
• 検定統計量は、第二のデータ部分において、投影された応答と観測された応答の経験的共分散として構築される。
• 推定と検定統計量の間の独立性を保証するために、サンプル分割を用いることで、有効な推論が可能になる。
• この手法は一般性を持ち、加法的モデル、スプライン、ランダムフォレストを含む任意の回帰手法に適用可能である。
• 理論的分析により、スプライン回帰を用いたPCMのバージョンが、非パラメトリックな条件付き平均独立性検定において最小最大最適レートを達成することが示された。

実験結果

リサーチクエスチョン

• RQ1 複雑な相互作用や異分散性を伴うデータ生成メカニズムにおいて、第一種の誤り率を適切に制御しながら、高いパワーを達成する非パラメトリックでモデルフリーな条件付き平均独立性の検定を構築できるか？
• RQ2 柔軟な機械学習手法を、第一種の誤り率が上昇しない形式の仮説検定フレームワークに統合する方法は何か？
• RQ3 提案された予測共分散尺度（PCM）は、非パラメトリックな条件付き平均独立性検定において最小最大最適レートを達成するか？
• RQ4 モデル誤指定下で、PCMはF検定、GCM、wgscといった既存の手法と比べてパワーと誤りコントロールの両面で優れているか？
• RQ5 パラメトリック検定が失敗するような状況において、PCMは複雑な相互作用や異分散性を検出できるか？

主な発見

• PCMは、複雑な相互作用や異分散性を伴う多様なデータ生成メカニズムにおいて、第一種の誤り率を適切に制御している。
• スプライン回帰を用いた場合、PCMは非パラメトリック検定における最小最大最適レートに達し、理論的最適性を確立している。
• シミュレーションにおいて、PCMは、ロバスト標準誤差付きのF検定やwgsc手法と比較してパワーが優れており、特にモデル誤指定下で顕著な優位性を示した。
• 非線形性や相互作用を含む真の関係がある場合でも、PCMは良好なパワーを維持するが、投影が捉えられない純粋な相互作用効果の設定ではパワーを失う可能性がある。
• wgsc手法は有効ではあるが、特に二値応答の設定では第一種の誤り率が上昇する傾向を示したのに対し、PCMは誤り率を適切に制御していた。
• PCMの性能は、サンプルサイズや回帰手法（ランダムフォレストや加法的モデルを含む）の変更に対してもロバストであった。