[논문 리뷰] Conditional independence testing: a predictive perspective

Marco Henrique de Almeida Inácio, Rafael Izbicki외 1명|arXiv (Cornell University)|2019. 07. 31.

Bayesian Modeling and Causal Inference참고 문헌 12인용 수 4

한 줄 요약

이 논문은 예측 성능을 원본 데이터와 순열된 데이터 간 비교를 통해 조건부 독립성을 평가함으로써 지도학습에서 특성의 관련성을 평가하는 새로운 조건부 독립 검정인 COINP를 제안한다. 순열 기반 p-값을 사용함으로써 점점 더 높은 통계적 검정력과 더 나은 유형 I 오류 통제를 달성하며, 특히 작은 표본에서 기존 방법들(예: CPI)보다 뛰어난 성능을 보인다. 이는 점근적 근사치 대신 순위 기반 추론을 사용하기 때문이다. 시뮬레이션 및 실제 데이터 환경 모두에서 기존 방법들을 능가한다.

ABSTRACT

Conditional independence testing is a key problem required by many machine learning and statistics tools. In particular, it is one way of evaluating the usefulness of some features on a supervised prediction problem. We propose a novel conditional independence test in a predictive setting, and show that it achieves better power than competing approaches in several settings. Our approach consists in deriving a p-value using a permutation test where the predictive power using the unpermuted dataset is compared with the predictive power of using dataset where the feature(s) of interest are permuted. We conclude that the method achives sensible results on simulated and real datasets.

연구 동기 및 목표

• 지도학습 환경에서 조건부 독립을 검정하기 위한 통계적으로 타당하고 강력한 방법을 개발하기 위해.
• 기존 방법의 한계, 특히 작은 표본 크기에서의 낮은 검정력과 불량한 유형 I 오류 통제를 해결하기 위해.
• 특성 중요도를 정량화하는 것이 아니라 '이 특성은 관련이 있는가?'라는 질문에 답하는 귀무가설 검정을 제공하기 위해.
• CPI와 같은 이전 접근법을 개선하기 위해, 외곽치와 분포 가정에 대해 강건한 순열 기반 p-값을 사용하기 위해.
• 시뮬레이션 및 실제 데이터 세트(예: diamonds 데이터 세트 포함)에서 이 방법의 효과성을 입증하기 위해.

제안 방법

• COINP는 원본 데이터와 순열된 특성에서의 모델 성능 비교를 통해 귀무가설 $ H_0: \mathbf{X}^S \perp Y \mid \mathbf{X}^{S^c} $ 를 검정하는 예측 프레임워크를 사용한다.
• 이 방법은 순열 검정을 통해 p-값을 산출한다: 원본 데이터로 학습된 모델의 예측 위험을 순열된 데이터로 학습된 모델들의 위험 분포와 비교한다.
• B개의 순열 각각에 대해, $ \mathbf{X}^S $의 특성들이 샘플 간에 무작위로 재배치되며, 이는 귀무가설 하에서 조건부 독립을 유지한다.
• p-값은 순열된 데이터 세트 중에서 원본 데이터만큼은 나은 예측 성능를 기록한 비율로 추정된다.
• 이 방법은 원시 손실 값이나 t-검정에 의존하지 않고 예측 성능의 순위에 기반하므로 외곽치에 강건하다.
• 이 방법은 선형 회귀, 랜덤 포레스트, 신경망 등의 다양한 예측 모델을 사용하여 구현되었으며, 다양한 시뮬레이션 설정에서 성능이 평가되었다.

실험 결과

연구 질문

• RQ1 COINP는 다양한 데이터 분포와 표본 크기에서 귀무가설 하에 적절한 p-값 균일성을 유지하는가?
• RQ2 고차원 또는 비선형 설정에서 조건부 독립을 검정할 때 COINP의 통계적 검정력은 CPI 및 기타 방법과 비교해 어떻게 되는가?
• RQ3 점근적 근사치가 실패하는 작은 표본 환경에서 COINP는 기존 방법보다 더 높은 검정력을 확보할 수 있는가?
• RQ4 특히 신경망과 같은 복잡한 모델을 사용할 때, COINP는 외곽치와 모델 오Specification에 대해 강건한가?
• RQ5 COINP의 p-값 분포는 귀무가설 하에서 균일도를 보이며, 이와 비교해 CPI와의 비교에서 어떤가?

주요 결과

• COINP는 종속된 공변량이 존재하는 경우를 포함하여 다양한 설정에서 귀무가설 하에 적절한 p-값 균일성을 달성한다. 이는 근사 방법이 실패하는 상황에서도 성립한다.
• 특히 작은 표본 크기와 종속된 공변량이 존재할 때 COINP는 CPI보다 훨씬 더 우수한 유형 I 오류 통제를 보인다.
• 모든 시뮬레이션 설정에서 COINP는 CPI보다 높은 통계적 검정력을 확보하며, 선형 회귀 모델을 사용할 때 가장 큰 향상이 관찰된다.
• 표본 크기가 증가할수록 COINP의 검정력이 증가함으로써 일관성을 보이며, $ n = 10,000 $ 설정에서 $ n = 1,000 $ 설정보다 높은 검정력을 기록한다.
• COINP는 순위 기반 추론을 사용하기에 외곽치에 강건하며, 반면 CPI는 원시 손실 값에 대한 t-검정에 의존하여 극단치에 민감하다.
• 다이아몬드 데이터 세트 분석에서 COINP는 모든 모델에서 모든 특성들이 유의미하다(p < 0.05)고 정확히 식별했으며, CPI는 특히 신경망을 사용할 때 일관성 없는 결과를 보였다.