[논문 리뷰] Partial Consistency with Sparse Incidental Parameters

Jianqing Fan, Runlong Tang외 1명|arXiv (Cornell University)|2012. 10. 25.

Statistical Methods and Inference참고 문헌 29인용 수 7

한 줄 요약

이 논문은 희박한 부수적 파rameter를 가진 고차원 선형 모형에 대한 페널티 추정 방법을 제안하며, 부수적 파rameter의 일관성 결여에도 불구하고 구조적 파ram터에 대해 오라클 유사 일관성을 달성한다. 부분 일관성(partial consistency)을 확립한다: 구조적 파ram터는 점근 정규성과 오라클 성질을 갖는 일관성 있는 추정을 하며, 부수적 파ram터는 추정 일관성 대신 선택 일관성(선택 일관성)만 확보한다.

ABSTRACT

Penalized estimation principle is fundamental to high-dimensional problems. In the literature, it has been extensively and successfully applied to various models with only structural parameters. As a contrast, in this paper, we apply this penalization principle to a linear regression model with a finite-dimensional vector of structural parameters and a high-dimensional vector of sparse incidental parameters. For the estimators of the structural parameters, we derive their consistency and asymptotic normality, which reveals an oracle property. However, the penalized estimators for the incidental parameters possess only partial selection consistency but not consistency. This is an interesting partial consistency phenomenon: the structural parameters are consistently estimated while the incidental ones cannot. For the structural parameters, also considered is an alternative two-step penalized estimator, which has fewer possible asymptotic distributions and thus is more suitable for statistical inferences. We further extend the methods and results to the case where the dimension of the structural parameter vector diverges with but slower than the sample size. A data-driven approach for selecting a penalty regularization parameter is provided. The finite-sample performance of the penalized estimators for the structural parameters is evaluated by simulations and a real data set is analyzed.

연구 동기 및 목표

• 부수적 파aram터가 희박하지만 다수인 고차원 선형 모형에서 구조적 파aram터를 추정하는 데 도전하는 문제를 다루는 것.
• 부수적 파aram터의 희박성을 활용하는 페널티 추정 프레임워크를 개발하여 구조적 파aram터에 대한 추론을 향상시키는 것.
• 고차원 부수적 파aram터 설정 하에서 구조적 파aram터 추정기의 이론적 성질—일관성과 점근 정규성—을 확립하는 것.
• 점근 분포 복잡성을 줄이는 이중 단계 페널티 추정기법을 제안하여 타당한 통계적 추론을 가능하게 하는 것.
• 구조적 파aram터의 차원 d가 표본 크기 n과 함께 증가하는 경우에 대해, 더 느린 발산 속도 조건 하에서 방법을 확장하는 것.

제안 방법

• 구조적 파aram터 β⋆와 희박한 부수적 파aram터 μ⋆를 가진 선형 모형에 페널티 최대우도 추정을 적용하며, 희박성을 활용하기 위해 페널티 함수를 사용한다.
• 페널티 최대우도 함수를 유도하고, 페널티가 μ⋆에서의 희박성을 촉진하도록 β⋆와 μ⋆를 최적화를 통해 추정한다.
• n → ∞ 및 d → ∞가 제어된 비율로 증가하는 조건 하에서도, 구조적 파aram터 추정기 β̂에 대해 점근 정규성과 오라클 성질을 확립한다.
• 이중 단계 추정 절차를 제안한다: 먼저 페널티를 통해 μ⋆를 추정하고, 그 후 선택된 지지 집합을 이용해 β⋆를 재추정함으로써 점근 분산 복잡성을 감소시킨다.
• 교차검증 또는 정보기준을 통해 정규화 파aram터를 데이터 기반으로 선택하는 방법을 사용한다.
• 희박성과 설계 행렬 모멘트에 대한 가정 하에 수렴 속도를 유도하기 위해 고차원 점근 이론, 특히 농도 불등식과 행렬 노름 경계를 활용한다.

실험 결과

연구 질문

• RQ1 부수적 파aram터가 고차원적이고 희박한 경우, 페널티 추정이 구조적 파aram터의 일관성 있고 점근 정규적인 추정을 달성할 수 있는가?
• RQ2 증가하는 수의 희박한 부수적 파aram터가 존재하는 상황에서, 구조적 파aram터에 대한 페널티 추정기의 점근 성질은 무엇인가?
• RQ3 부수적 파aram터에 대한 페널티 추정기는 완전한 일관성(estimation consistency)을 달성하는가, 아니면 오직 선택 일관성(selection consistency)만 달성하는가?
• RQ4 이중 단계 추정기는 한 단계 페널티 추정기 대비 점근 분포 행동 측면에서 추론을 어떻게 향상시키는가?
• RQ5 구조적 파aram터의 차원 d가 표본 크기 n과 함께 증가하는 경우에 대해, 적절한 속도 조건 하에서 이 방법을 확장할 수 있는가?

주요 결과

• 구조적 파aram터 β⋆에 대한 페널티 추정기 β̂는 점근 정규성과 오라클 성질을 확보하며, 이는 μ⋆의 진짜 희박한 지지 집합이 알려져 있는 것처럼 행동함을 의미한다.
• 부수적 파aram터 추정기 μ̂⋆는 오직 선택 일관성(비제로 항의 정확한 식별)을 확보할 뿐, 추정 일관성(값으로의 수렴)은 달성하지 못한다.
• 이중 단계 페널티 추정기 β⋆는 가능한 점근 분포의 수가 적어, 신뢰구간 구성과 가설검정에 더 적합하다.
• d = o(n^{1/3}) 조건 하에서, 추정 오차의 수렴 속도가 √n인 β̂는 일관성과 점근 정규성을 확보한다.
• d가 n과 함께 증가하는 경우에도, d^9(log d)^2 = o(n) 조건이 만족되면 추정기는 오라클 성질을 유지한다.
• 유한 표본 시뮬레이션과 실데이터 분석을 통해, 오염 또는 희박한 이상치가 존재하는 상황에서 β⋆에 대한 페널티 추정기가 일반 최소제곱법보다 우수한 성능을 보임을 확인하였다.