[논문 리뷰] Post-Regularization Confidence Bands for High Dimensional Nonparametric Models with Local Sparsity

Junwei Lu, Mladen Kolar외 1명|arXiv (Cornell University)|2015. 03. 10.

Statistical Methods and Inference참고 문헌 68인용 수 6

한 줄 요약

이 논문은 관심 있는 설명변수 주변에서 局소적 희소성 패턴을 允許하는 고차원 비모수 모델인 ATLAS를 소개한다. 국소적 커널 회귀와 B-spline 근사의 조합으로 구성된 커널-시브 추정기법을 제안하여, $ f_j^* $의 마진별 영향 함수를 추정함으로써 초산형 노름 하에서 최적 수렴 속도를 달성하고 통계-계산의 트레이드오프를 제어하는 타당한 신뢰구간을 가능하게 한다.

ABSTRACT

We propose a novel high dimensional nonparametric model named ATLAS which naturally generlizes the sparse additive model. Given a covariate of interest $X_j$, the ATLAS model assumes the mean function can be locally approximated by a sparse additive function whose sparsity pattern may vary from the global perspective. We propose to infer the marginal influence function $f_j^*(z) = \mathbb{E}[f(X_1,\ldots, X_d) \mid X_j = z]$ using a new kernel-sieve approach that combines the local kernel regression with the B-spline basis approximation. We prove the rate of convergence for estimating $f_j^*$ under the supremum norm. We also propose two types of confidence bands for $f_j^*$ and illustrate their statistical-comptuational tradeoffs. Thorough numerical results on both synthetic data and real-world genomic data are provided to demonstrate the efficacy of the theory.

연구 동기 및 목표

• 고차원 비모수 모델에서 전역적 희소성 가정의 한계를 해결하기 위해 관심 있는 설명변수 주변에서 국소적 희소성 패턴을 도입하는 것.
• 진짜 평균 함수가 국소적 구조를 보일 때의 고차원 환경에서 마진별 영향 함수 $ f_j^* $를 추정하는 방법을 개발하는 것.
• 초산형 노름 하에서 제안된 추정기의 수렴 속도에 대한 이론적 보장을 확립하는 것.
• 통계적 정확도와 계산 효율성의 균형을 고려하여 $ f_j^* $에 대한 신뢰구간을 구성하는 것.
• 합성 데이터와 실제 유전자 데이터 세트에서의 실증적 검증을 통해 방법의 실용적 효용성을 입증하는 것.

제안 방법

• 의존변수 주변에서 설명변수별로 희소성 패턴이 다를 수 있는 국소적 희소성 구조를 가진 평균 함수를 가정하는 ATLAS 모델을 제안한다.
• 국소적 커널 회귀와 B-spline 기저 근사의 조합을 통해 마진별 영향 함수 $ f_j^* $를 추정하는 커널-시브 접근법을 사용한다.
• 이중 단계 추정 절차를 적용: 첫째, $ X_j = z $ 주변에서 국소적 커널 가중치 적용; 둘째, 조건부 평균 함수를 모델링하기 위해 B-spline 기저 전개 수행.
• 설계 및 오차 분포에 대한 규칙성 조건 하에서 추정기의 초산형 노름 수렴 속도를 유도한다.
• 신뢰구간의 구성에 있어 커버리지 정확도와 계산 비용 간의 트레이드오프가 다른 두 가지 유형의 신뢰구간을 제안한다.
• 고차원 환경에서 추정의 안정성과 추론의 신뢰성을 향상시키기 위해 후기정규화 기법을 적용한다.

실험 결과

연구 질문

• RQ1 주어진 설명변수 주변에서 희소성 패턴이 국소적으로 변할 수 있는 고차원 비모수 모델을 개발할 수 있는가?
• RQ2 이러한 모델에서 초산형 노름 하에서 마진별 영향 함수 $ f_j^* $를 추정할 때의 최적 수렴 속도는 무엇인가?
• RQ3 통계적 신뢰성과 계산 가능성의 균형을 고려하여 $ f_j^* $에 대한 타당한 신뢰구간을 어떻게 구성할 수 있는가?
• RQ4 국소적 희소성 하에서 다양한 신뢰구간 구성 전략의 통계-계산 트레이드오프는 무엇인가?
• RQ5 제안된 방법은 합성 데이터와 실제 유전자 데이터에서 유한 표본에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 커널-시브 추정기는 국소적 희소성을 가진 고차원 비모수 모델에서 초산형 노름 하에서 $ f_j^* $의 수렴 속도가 최적임을 입증한다.
• 커버리지 정확도와 계산 복잡도 간의 트레이드오프가 다른 두 가지 유형의 신뢰구간 구성 전략을 제안한다.
• 합성 데이터에서 높은 실증 성능을 보이며, 국소적 희소성 패턴을 정확히 식별하고 진짜 마진별 영향 함수를 회복한다.
• 실제 유전자 데이터에서는 생물학적으로 관련성이 있는 설명변수의 국소적 영향을 성공적으로 식별하며, 전역적 희소성 기반 대안보다 뛰어난 성능을 보인다.
• 이론적 분석을 통해 수많은 설명변수 수가 표본 크기와 함께 증가하더라도 추정기의 양호한 유한표본 성능을 유지함을 확인한다.
• 후기정규화 기법은 고차원 환경에서 추정의 안정성과 추론의 신뢰성을 크게 향상시킨다.