[논문 리뷰] The Projected Covariance Measure for assumption-lean variable significance testing

Anton Rask Lundborg, Ilmun Kim외 2명|arXiv (Cornell University)|2022. 11. 03.

Statistical Methods and Inference인용 수 9

한 줄 요약

이 논문은 스퍼링스와 랜덤 포레스트와 같은 비모수적 또는 머신러닝 방법을 활용하여 조건부 평균 독립성 검정을 위한 모델에 의존하지 않는 방법인 투영 공분산 측도(PCM)를 소개한다. 데이터를 분할하여 투영과 조건부 공분산을 추정함으로써 PCM는 강건한 오차 통제와 최소최대 최적의 검정력(power)을 달성하며, 시뮬레이션에서 파라미터 모델 및 기존 비모수적 검정보다 뛰어난 성능을 보인다.

ABSTRACT

Testing the significance of a variable or group of variables $X$ for predicting a response $Y$, given additional covariates $Z$, is a ubiquitous task in statistics. A simple but common approach is to specify a linear model, and then test whether the regression coefficient for $X$ is non-zero. However, when the model is misspecified, the test may have poor power, for example when $X$ is involved in complex interactions, or lead to many false rejections. In this work we study the problem of testing the model-free null of conditional mean independence, i.e. that the conditional mean of $Y$ given $X$ and $Z$ does not depend on $X$. We propose a simple and general framework that can leverage flexible nonparametric or machine learning methods, such as additive models or random forests, to yield both robust error control and high power. The procedure involves using these methods to perform regressions, first to estimate a form of projection of $Y$ on $X$ and $Z$ using one half of the data, and then to estimate the expected conditional covariance between this projection and $Y$ on the remaining half of the data. While the approach is general, we show that a version of our procedure using spline regression achieves what we show is the minimax optimal rate in this nonparametric testing problem. Numerical experiments demonstrate the effectiveness of our approach both in terms of maintaining Type I error control, and power, compared to several existing approaches.

연구 동기 및 목표

• 모형이 잘못 지정되었을 때 검정력이 떨어지거나 제1종 오류가 과도하게 증가하는 경우, 파라미터 모델의 한계를 해결하기 위해.
• Y의 조건부 평균이 X와 Z에 대해 X에 의존하지 않는 조건부 평균 독립성에 대한 모델에 의존하지 않는 검정법을 개발하기 위해.
• 스플라인, 랜덤 포레스트 등 유연한 비모수적 또는 머신러닝 방법을 사용할 수 있도록 하면서도 유효한 제1종 오류 통제를 유지하기 위해.
• 비모수적 조건부 평균 독립성 검정에서 최소최대 최적의 검정 속도를 달성하기 위해.
• 기존 방법보다 더 뛰어난 검정력과 오차 통제 성능을 보이며, 모형이 잘못 지정된 상황에서도 적용 가능한 일반적이고 가정에 민감하지 않은 프레임워크를 제공하기 위해.

제안 방법

• 데이터를 두 부분으로 나누어, 비모수적 회귀를 통해 Y의 X와 Z에 대한 투영을 추정하는 데 첫 번째 부분을 사용한다.
• 두 번째 부분은 투영된 Y와 원래의 Y 사이의 조건부 공분산을 추정하는 데 사용되며, 이로부터 검정 통계량이 구성된다.
• 검정 통계량은 두 번째 데이터 부분에서 투영된 반응과 관측된 반응 간의 경험적 공분산으로 구성된다.
• 표본 분할을 통해 추정과 검정 통계량 간의 독립성을 확보함으로써 타당한 추론이 가능해진다.
• 이 방법은 추가 모델, 스퍼링스, 랜덤 포레스트 등 어떤 회귀 방법과도 적용 가능하다.
• 이론적 분석을 통해 스퍼링스 회귀를 사용한 PCM의 한계는 비모수적 조건부 평균 독립성 검정에서 최소최대 최적 속도에 도달함을 보여준다.

실험 결과

연구 질문

• RQ1 복잡한 상호작용이나 이방성(이질분산)이 존재하는 경우에도 유효한 제1종 오류 통제를 유지하면서 높은 검정력을 확보할 수 있는 비모수적, 모델에 의존하지 않는 조건부 평균 독립성 검정을 구성할 수 있는가?
• RQ2 유연한 머신러닝 방법을 형식적인 가설 검정 프레임워크에 통합할 수 있는가? 이때 제1종 오류가 과도하게 증가하지는 않는가?
• RQ3 제안된 프로젝티드 코Variance 메처(PCM)는 비모수적 조건부 평균 독립성 검정에서 최소최대 최적 속도에 도달하는가?
• RQ4 모형이 잘못 지정된 상황에서 PCM은 F-검정, GCM, wgsc와 같은 기존 방법과 비교해 검정력과 오차 통제에서 더 뛰어나게 성능을 발휘하는가?
• RQ5 파라미터 모델이 실패하는 경우, PCM은 복잡한 상호작용과 이방성을 탐지할 수 있는가?

주요 결과

• PCM는 복잡한 상호작용과 이방성을 포함한 다양한 데이터 생성 메커니즘에서 유효한 제1종 오류 통제를 유지한다.
• 스퍼링스 회귀를 사용할 경우 PCM는 비모수적 조건부 평균 독립성 검정에서 최소최대 최적 수렴 속도에 도달하며, 이는 비모수적 검정에서 이론적 최적성의 증거가 된다.
• 시뮬레이션 결과, PCM은 로버스트 표준오차를 사용한 전통적인 F-검정과 wgsc 방법보다 검정력 면에서 뛰어나며, 특히 모형이 잘못 지정된 경우에 두각을 나타낸다.
• PCM는 진정한 관계가 비선형성과 상호작용을 포함하더라도 양호한 검정력을 유지하지만, 투영이 포착하지 못하는 순수한 상호작용 효과가 존재하는 설정에서는 검정력이 떨어질 수 있다.
• wgsc 방법은 유효하지만, 특히 이진 반응 변수가 존재하는 설정에서는 제1종 오류가 과도하게 증가하는 경향이 있었고, 반면 PCM은 오류 통제를 잘 유지하였다.
• PCM는 다양한 표본 크기와 회귀 방법(랜덤 포레스트, 가산 모델 포함)에 대해 강건한 성능을 보였다.