[논문 리뷰] Strong consistency of the AIC, BIC, $C_p$ and KOO methods in high-dimensional multivariate linear regression

Zhidong Bai, Yasunori Fujikoshi외 1명|arXiv (Cornell University)|2018. 10. 30.

Statistical Methods and Inference참고 문헌 41인용 수 6

한 줄 요약

이 논문은 고차원 다변량 선형 회귀에서 AIC, BIC, $C_p$, 및 KOO 방법의 강한 일致성에 대한 필수 및 필요조건을 수립한다. 미묘한 고차원 조건 하에서 BIC의 강한 일치성이 AIC의 강한 일치성을 암시함을 증명하며, 이는 고전적 이해와 배치된다. 또한 차원 수와 표본 크기 제약 조건을 완화하면서 강한 일치성을 달성하는 두 가지 일반적인 KOO 기반 방법을 제안하며, 시뮬레이션에서 더 빠른 수렴 속도를 보여준다.

ABSTRACT

Variable selection is essential for improving inference and interpretation in multivariate linear regression. Although a number of alternative regressor selection criteria have been suggested, the most prominent and widely used are the Akaike information criterion (AIC), Bayesian information criterion (BIC), Mallow's $C_p$, and their modifications. However, for high-dimensional data, experience has shown that the performance of these classical criteria is not always satisfactory. In the present article, we begin by presenting the necessary and sufficient conditions (NSC) for the strong consistency of the high-dimensional AIC, BIC, and $C_p$, based on which we can identify some reasons for their poor performance. Specifically, we show that under certain mild high-dimensional conditions, if the BIC is strongly consistent, then the AIC is strongly consistent, but not vice versa. This result contradicts the classical understanding. In addition, we consider some NSC for the strong consistency of the high-dimensional kick-one-out (KOO) methods introduced by Zhao et al. (1986) and Nishii et al. (1988). Furthermore, we propose two general methods based on the KOO methods and prove their strong consistency. The proposed general methods remove the penalties while simultaneously reducing the conditions for the dimensions and sizes of the regressors. A simulation study supports our consistency conclusions and shows that the convergence rates of the two proposed general KOO methods are much faster than those of the original methods.

연구 동기 및 목표

• 고차원 다변량 선형 회귀에서 AIC, BIC, $C_p$, 및 KOO 방법의 강한 일치성에 대한 필수 및 필요조건(NSC)을 수립하기.
• 예측 변수와 반응 변수가 모두 고차원인 설정에서 고전적 기준(AIC, BIC, $C_p$)의 성능이 열 劣하는 이유를 규명하기.
• 고차원 환경에서 BIC와 AIC의 일치성 간의 관계를 조사하여 고전적 가정을 도전하기.
• 명시적 페널티 없이 강한 일치성을 달성하면서 차원 수 및 표본 크기 제약 조건을 완화하는 두 가지 일반적인 KOO 기반 방법을 제안하기.
• 이론적 결과를 시뮬레이션 연구와 실제 데이터 분석을 통해 검증하여, 기존 KOO 방법보다 더 빠른 수렴 속도를 보여주기.

제안 방법

• 무작위 행렬 이론 프레임워크 하에서 점근적 분석을 사용하여 고차원 다변량 선형 모델에서 AIC, BIC, $C_p$의 강한 일치성에 대한 필수 및 필요조건(NSC)을 유도한다.
• 프로젝션 행렬과 오차 항을 포함하는 이차형식의 기대값을 분석하기 위해 in-out 교환 공식과 블록 행렬의 역행렬을 적용한다.
• 한 개의 변수를 제거하는 원칙에 기반한 두 가지 일반적인 KOO 방법을 제안하며, 명시적 페널티 없이도 강한 일치성을 유지한다.
• 고유값과 트레이스 함수의 점근적 행동을 활용하여 핵심 이차형식의 극한 표현을 유도하며, 스펙트럼 분포 이론과 스텔리지스 변환을 기반으로 한다.
• 고차원 조건 하에서 BIC의 강한 일치성이 AIC의 강한 일치성을 암시함을 입증하며, 이는 고전적 직관을 뒤집는 결과이다.
• 시뮬레이션 연구와 실제 데이터 분석을 통해 제안된 방법의 수렴 속도와 성능을 기존 KOO 및 고전적 기준과 비교한다.

실험 결과

연구 질문

• RQ1 다변량 선형 회귀에서 AIC가 강한 일치성을 가지기 위한 고차원 조건은 무엇인가?
• RQ2 고차원 설정에서 BIC의 강한 일치성이 AIC의 강한 일치성을 암시하는가? 이는 고전적 이해와 배치된다.
• RQ3 고차원 다변량 회귀에서 KOO 방법의 강한 일치성에 대한 필수 및 필요조건은 무엇인가?
• RQ4 명시적 페널티 없이도 강한 일치성을 달성하고, 차원 수 및 표본 크기 제약 조건을 완화할 수 있는 일반적인 KOO 기반 방법을 구성할 수 있는가?
• RQ5 유한 표본에서 제안된 일반 KOO 방법의 수렴 속도는 기존 KOO 방법과 비교하여 어떻게 되는가?

주요 결과

• 미묘한 고차원 조건 하에서 BIC가 강한 일치성을 만족하면 AIC 역시 강한 일치성을 만족함—이는 AIC가 BIC보다 덜 보수적인 것으로 여겨지는 고전적 믿음을 뒤집는 결과이다.
• AIC, BIC, $C_p$의 강한 일치성에 대한 필수 및 필요조건을 명시적으로 유도하며, 표본 크기와 함께 차원 수가 증가할 경우 성능에 대한 구조적 한계를 드러낸다.
• 제안된 일반 KOO 방법은 페널티 항에 의존하지 않으며, 예측 변수 수와 표본 크기의 요구 조건을 크게 완화한다.
• 시뮬레이션 연구에서 제안된 두 가지 일반 KOO 방법의 수렴 속도가 기존 KOO 방법보다 상당히 빠르게 나타난다.
• 실제 데이터 분석을 통해 제안된 방법이 고차원 설정에서 고전적 기준 및 기존 KOO 방법보다 성능과 일관성이 뛰어나다는 것이 확인된다.
• 이론적 분석을 통해 핵심 이차형식의 점근적 행동이 설계 행렬과 오차 구조의 스펙트럼 분포에 의해 결정되며, 특히 스텔리지스 변환과 트레이스 함수를 통해 중요하게 작용한다는 것이 입증된다.