[논문 리뷰] AIC and Cp as estimators of loss for spherically symmetric distributions

Aurélie Boisbunon, Stéphane Canu외 3명|arXiv (Cornell University)|2013. 08. 13.

Statistical Methods and Inference참고 문헌 44인용 수 3

한 줄 요약

이 논문은 구형 대칭 분포에서 예측 손실의 추정기로 AIC와 Cp가 유효하다는 것을 입증한다. 이는 기존의 가우시안 모델을 넘어서서이다. 손실 추정 이론과 오ракูล 부등식을 통해 모델 선택 이론을 연결함으로써, 비편향 제곱 손실 추정기의 유효성이 구형 대칭 조건 하에서도 유지됨을 보여주며, 이를 통해 이러한 기준들이 가우시안 가정을 초월하여 종속된 관측치를 포함한 상황에서도 적용 가능하다.

ABSTRACT

Abstract: In this article, we develop a modern perspective on Akaike’s Information Criterion and Mallows ’ Cp for model selection. Despite the differences in their respective motivation, they are equivalent in the special case of Gaussian linear regression. In this case they are also equivalent to a third criterion, an unbiased estimator of the quadratic prediction loss, derived from loss estimation theory. Our first contribution is to provide an explicit link between loss estimation and model selection through a new oracle inequality. We then show that the form of the unbiased estimator of the quadratic prediction loss under a Gaussian assumption still holds under a more general distributional assumption, the family of spherically symmetric distributions. One of the features of our results is that our criterion does not rely on the specificity of the distribution, but only on its spherical symmetry. Also this family of laws offers some dependence property between the observations, a case not often studied.

연구 동기 및 목표

• 손실 추정 이론을 통해 AIC와 Cp를 공통 이론적 프레임워크로 통합한다.
• 비편향 제곱 예측 손실 추정기의 유효성을 가우시안 가정을 초월하여 확장한다.
• 관측치 간 종속성을 允허하는 구형 대칭 분포 하에서의 모델 선택 기준을 조사한다.
• 손실 추정과 모델 선택을 연결하는 일반적 오라클 부등식을 유도한다.

제안 방법

• 손실 추정과 모델 선택을 연결하는 오라클 부등식을 유도하여 모델 선택의 이론적 기반을 마련한다.
• 손실 추정 이론을 활용하여 구형 대칭 분포 하에서 제곱 예측 손실의 비편향 추정기를 구성한다.
• 구형 대칭 성질을 활용하여 가우시안 선형 모델에서의 결과를 더 넓은 분포 군에 일반화한다.
• 관측치가 종속되어 있을 경우에도 비편향 손실 추정기의 형태가 그대로 유지됨을 보인다.
• 오차가 종속되어 있을 경우에도 AIC와 Cp가 이 비편향 손실 추정기와 동일시됨을 보이며, 이는 가우시안 설정 외의 상황에서도 성립함을 입증한다.
• 직교 변환에 대한 분포 불변성을 활용하여 예측 손실 분석을 단순화한다.

실험 결과

연구 질문

• RQ1 AIC와 Cp는 가우시안 모델 외의 구형 대칭 분포에서도 손실 추정기로 정당화될 수 있는가?
• RQ2 비편향 제곱 예측 손실 추정기는 가우시안 가정을 초월하여 어떻게 일반화되는가?
• RQ3 구형 대칭은 모델 선택 기준의 유효성을 유지하는 데 어떤 역할을 하는가?
• RQ4 이 보다 넓은 맥락에서 손실 추정과 모델 선택을 연결하는 오라클 부등식을 수립할 수 있는가?
• RQ5 관측치 간 종속성이 구형 대칭 조건 하에서 AIC와 Cp의 성능에 어떤 영향을 미치는가?

주요 결과

• AIC와 Cp는 구형 대칭 분포 하에서 비편향 제곱 예측 손실 추정기와 동일하며, 이를 통해 가우시안 모델을 초월한 유효성이 보장된다.
• 관측치가 종속되어 있을 경우에도 비편향 손실 추정기의 형태는 그대로 유지된다.
• 유도 과정은 특정 분포 형태에 의존하지 않고 구형 대칭성만을 기반으로 하므로 일반성과 적용 범위가 향상된다.
• 손실 추정과 모델 선택을 연결하는 오라클 부등식이 수립되었으며, 이는 기준의 이론적 정당성을 제공한다.
• 결과적으로 AIC와 Cp의 핵심 구조는 이전에 생각했던 것보다 더 약한 분포 가정 하에서도 유지됨을 보여준다.