[논문 리뷰] Some nonasymptotic results on resampling in high dimension, I: Confidence regions, II: Multiple tests

Sylvain Arlot, Gilles Blanchard외 1명|arXiv (Cornell University)|2007. 12. 05.

Statistical Methods and Inference참고 문헌 22인용 수 4

한 줄 요약

이 논문은 일반적인 종속 구조 하에서 차원 수 K가 표본 크기 n보다 훨씬 클 때, 특히 일반화된 부트스트랩과 라데마처 가중치를 중심으로 한 리샘플링 방법을 사용하여 고차원 데이터에 대한 비점근적 신뢰 영역과 다중 검정 절차를 개발한다. 농도 불등식과 리샘플된 분위수를 활용하여 일반적인 종속성 구조 하에서도 비점근적이고 유한 표본 기반의 오차 통제를 이룩한다.

ABSTRACT

We study generalized bootstrap confidence regions for the mean of a random vector whose coordinates have an unknown dependency structure. The random vector is supposed to be either Gaussian or to have a symmetric and bounded distribution. The dimensionality of the vector can possibly be much larger than the number of observations and we focus on a nonasymptotic control of the confidence level, following ideas inspired by recent results in learning theory. We consider two approaches, the first based on a concentration principle (valid for a large class of resampling weights) and the second on a resampled quantile, specifically using Rademacher weights. Several intermediate results established in the approach based on concentration principles are of interest in their own right. We also discuss the question of accuracy when using Monte Carlo approximations of the resampled quantities.

연구 동기 및 목표

• 차원 수 K가 표본 크기 n보다 훨씬 클 때, 종속성 구조가 알려져 있지 않은 고차원 난수 벡터의 평균에 대한 비점근적 신뢰 영역을 개발하기 위해.
• 기존의 다변량 정규 분포 이론이 고차원성으로 인해 실패하는 상황에서, 공분산 구조에 대한 파rametric 가정을 피하기 위해.
• 리샘플링 기반 추론에 대해 이론적으로 근거가 있고, 유한 표본 기반의 오차 통제를 제공하기 위해.
• 부트스트랩과 라데마처 가중치를 포함한 리샘플링 방법을 다중 검정에 확장하여 강력한 오차율 통제(FWER)를 달성하기 위해.
• 리샘플된 통계량에 대한 몬테카를로 근사가 미치는 영향을 분석하고, 실용적이고 정확한 구현 방법을 제안하기 위해.

제안 방법

• 독립 동일분포 리샘플링 가중치(예: 라데마처 또는 다항분포)를 사용한 일반화된 리샘플링을 통해 중심화된 표본 평균의 표본 분포를 추정한다.
• 농도 불등식을 적용하여 리샘플된 통계량이 조건부 기대값에서 벗어나지 않도록 제어함으로써 비점근적 커버리지 보장을 확보한다.
• 리샘플된 분위수에서 유도된 데이터 기반 임계치를 통해 신뢰 영역을 정의하며, 특히 φ(Y−x)의 (1−α) 분위수를 사용한다.
• 중심화된 리샘플된 분위수를 기반으로 한 단계적 하향 다중 검정 절차를 제안하며, 유한 표본 기반의 FWER 통제를 위해 보너페르니 유형 보정을 적용한다.
• 계산 속도와 정확도의 균형을 맞추기 위해 중심화된 및 비중심화된 분위수를 조합한 하이브리드 알고리즘을 도입한다.
• 리샘플된 임계치에 대한 몬테카를로 근사의 영향을 분석하고, 결과 오차에 대한 이론적 경계를 제공한다.

실험 결과

연구 질문

• RQ1 K ≫ n 이고 종속성이 알려져 있지 않은 고차원 설정에서 리샘플링 방법이 유효한 비점근적 신뢰 영역을 제공할 수 있는가?
• RQ2 파라미터 모델이나 독립성을 가정하지 않고도 리샘플링 기반 다중 검정 절차가 가족 오차율(FWER)을 통제할 수 있는가?
• RQ3 리샘플링 이전에 데이터를 중심화하는 것이 리샘플링 임계치의 타당성과 성능에 어떤 영향을 미치는가?
• RQ4 이론적 보정 항목(예: 보너페르니 조정)은 유한 표본 기반 리샘플링 기반 추론의 보수성에 어떤 영향을 미치는가?
• RQ5 리샘플된 통계량의 몬테카를로 근사를 실용적으로 사용할 수 있으며, 이론적 오차 통제를 유지할 수 있는가?

주요 결과

• 제안된 신뢰 영역은 일반적인 대칭성과 유계성 가정 하에서도 K ≫ n 인 경우에도 비점근적 (1−α) 커버리지 성능을 달성한다.
• 라데마처 가중치의 사용은 공분산 구조에 대한 파라미터 가정 없이도 농도 기반 접근을 가능하게 하여 유효하고, 유한 표본 기반의 오차 통제를 보장한다.
• 중심화된 리샘플된 분위수를 기반으로 한 단계적 하향 다중 검정 절차는 약한 분포 가정 하에서도 비점근적으로 가족 오차율(FWER)을 통제하며, 이론적 보장이 있다.
• 시뮬레이션 결과는 좌표 간 종속성이 강할 경우 리샘플링 기반 임계치가 홀름의 절차보다 우수함을 보여주며, 종속성에 대한 적응성이 뛰어남을 시사한다.
• 중심화된 및 비중심화된 분위수를 조합한 하이브리드 알고리즘은 비중심화 방법 수준의 계산 속도를 확보하면서도 중심화의 이론적 이점을 유지한다.
• 이론적 분석을 통해 임계치의 나머지 항이 보수적인 것으로 확인되었으며, 더 견고한 경계를 통해 유한 표본 성능 향상을 가능하게 할 수 있음이 시사된다.