[논문 리뷰] AIC, Cp and estimators of loss for elliptically symmetric distributions

Aurélie Boisbunon, Stéphane Canu외 3명|arXiv (Cornell University)|2013. 08. 13.

Statistical Methods and Inference참고 문헌 45인용 수 4

한 줄 요약

이 논문은 모델 선택을 위한 아카이케의 정보기준(AIC)과 말로우스의 $C_p$를 일반화하여 구형 및 타원형 대칭 분포에 적용한다. 기존에는 가우시안 가정 하에서만 유효했던 이차 예측 손실의 불편 추정량이, 구형 대칭 조건 하에서도 그대로 유지됨을 보여준다. 주요 기여는 분포에 대한 구체적인 가정 없이도 이러한 기준들이 형태와 불편성의 성질을 유지함을 보여주며, 비정규 분포 및 상관 구조를 가진 오차 모델에 대한 강건한 모델 선택을 가능하게 한다.

ABSTRACT

In this article, we develop a modern perspective on Akaike's Information Criterion and Mallows' Cp for model selection. Despite the diff erences in their respective motivation, they are equivalent in the special case of Gaussian linear regression. In this case they are also equivalent to a third criterion, an unbiased estimator of the quadratic prediction loss, derived from loss estimation theory. Our first contribution is to provide an explicit link between loss estimation and model selection through a new oracle inequality. We then show that the form of the unbiased estimator of the quadratic prediction loss under a Gaussian assumption still holds under a more general distributional assumption, the family of spherically symmetric distributions. One of the features of our results is that our criterion does not rely on the speci ficity of the distribution, but only on its spherical symmetry. Also this family of laws o ffers some dependence property between the observations, a case not often studied.

연구 동기 및 목표

• 가우시안 선형 모델을 초월하여 더 일반적인 타원형 분포로 AIC와 $C_p$의 이론적 기반을 확장하는 것.
• 이차 예측 손실의 불편 추정량이 구형 대칭 오차 분포 하에서도 유효함을 입증하는 것.
• 가우시안 조건 하에서의 $C_p$, AIC 및 손실 추정의 등가성이 구형 대칭 가족으로까지 확장됨을 보여주는 것.
• 불변 손실를 사용하여 일반적인 공분산 구조를 가진 타원형 대칭 분포로 프레임워크를 일반화하는 것.
• 분포에 종속되지 않는 기준을 제공하여, 더 약한 대칭 조건 하에서도 불편성을 유지하는 모델 선택 기준을 확립하는 것.

제안 방법

• 구형 대칭 오차 하에서 스텐의 항등식과 SURE(스텐의 불편 리스크 추정) 원리를 활용하여 이차 예측 손실의 불편 추정량을 유도한다.
• 에러 벡터와 추정량의 발산을 포함하는 이차 형식의 기대값을 다루기 위해 스텐-하프 항등식을 적용한다.
• 손실 함수가 정규 직교 변환에 대해 불변임을 이용하여, 구형 설정에서 기대값 계산을 단순화한다.
• 알 수 없는 공분산 $\Sigma$를 가진 행렬 회귀 모델을 도입하여 결과를 타원형 대칭 분포로 일반화한다.
• 손실 추정량의 불편성은 가우시안의 경우에 국한되지 않고, 기저의 타원형 분포에 대해 유지됨을 입증한다.
• 가우시안 조건 하에서의 손실 추정량 형태가, 특정 밀도 형태에 관계없이 구형 대칭 조건 하에서도 그대로 유지됨을 보여준다.

실험 결과

연구 질문

• RQ1 가우시안 가정 하에서 유도된 예측 손실의 불편 추정량이 구형 대칭 오차 분포 하에서도 유효한가?
• RQ2 가우시안 조건을 초월하여 $C_p$, AIC 및 불편 손실 추정량 간의 등가성이 유지되는가?
• RQ3 비구형 공분산을 가진 타원형 대칭 분포로 $C_p$ 및 AIC와 같은 모델 선택 기준을 어떻게 일반화할 수 있는가?
• RQ4 구형 대칭은 손실 추정 기준의 형태 유지에 어떤 역할을 하는가?
• RQ5 정규성을 가정하지 않고도 더 무거운 尾部 및 상관 구조를 가진 오차 구조에 대해 손실 추정량을 강건하게 만들 수 있는가?

주요 결과

• 가우시안 가정 하에서의 이차 예측 손실 불편 추정량은 특정 밀도 형태에 관계없이 구형 대칭 분포 하에서도 그 형태와 불편성을 유지한다.
• $C_p$, AIC 및 불편 손실 추정량 간의 등가성은 가우시안의 경우에 국한되지 않고, 모든 구형 대칭 분포에 대해 성립한다.
• 일반적인 공분산 $\Sigma$를 가진 타원형 대칭 분포에 대해서는, 행렬 회귀 모델과 스텐-하프 유형의 항등식을 사용하여 불변 손실의 불편 추정량을 도출할 수 있다.
• 이 기준은 특정 밀도 함수의 형태에 관계없이 구형 대칭성에 의존하므로, 분포에 종속되지 않는다는 의미에서 강건하다.
• 유도된 추정량은 더 무거운 尾部 오차에 대해 강건하며, 타원형 가족 프레임워크를 통해 상관 성분을 처리할 수 있다.
• 결과적으로 $C_p$와 AIC는 본질적으로 가우시안에 국한되지 않으며, 더 넓은 대칭 조건 하에서도 유효함을 시사하며, 실용적 적용 범위를 넓힌다.