[논문 리뷰] Information Criteria for Deciding between Normal Regression Models

Robert S. Maier|arXiv (Cornell University)|2013. 05. 23.

Statistical Mechanics and Entropy참고 문헌 52인용 수 5

한 줄 요약

이 논문은 물리 과학 분야에서 정규 회귀 모델을 선택할 때 정보 기준, 특히 AIC와 AICc의 정확한 적용을 명확히 한다. AICc는 오차 분산이 알려지지 않은 경우에만 사용되어야 하며, 오차 바가 알려진 경우 AIC가 적절하다는 것을 보여준다. 주요 기여는 오차 분산이 알려진 조건에서 AIC 차이에 대한 유의성 검정을 개발한 것으로, Akaike 가중치를 대체하고 천체물리학 및 물리적 데이터 분석에서 모델 선택의 신뢰성을 향상시킨다.

ABSTRACT

Regression models fitted to data can be assessed on their goodness of fit, though models with many parameters should be disfavored to prevent over-fitting. Statisticians' tools for this are little known to physical scientists. These include the Akaike Information Criterion (AIC), a penalized goodness-of-fit statistic, and the AICc, a variant including a small-sample correction. They entered the physical sciences through being used by astrophysicists to compare cosmological models; e.g., predictions of the distance-redshift relation. The AICc is shown to have been misapplied, being applicable only if error variances are unknown. If error bars accompany the data, the AIC should be used instead. Erroneous applications of the AICc are listed in an appendix. It is also shown how the variability of the AIC difference between models with a known error variance can be estimated. This yields a significance test that can potentially replace the use of `Akaike weights' for deciding between such models. Additionally, the effects of model misspecification are examined. For regression models fitted to data sets without (rather than with) error bars, they are major: the AICc may be shifted by an unknown amount. The extent of this in the fitting of physical models remains to be studied.

연구 동기 및 목표

• 오차 바가 일반적으로 제공되는 천체물리학을 포함한 물리 과학 분야에서 AICc의 광범위한 오용 문제를 해결하기 위해.
• 오차 분산이 알려지지 않은 경우에만 AICc가 유효하며, 오차 바가 알려진 경우 AIC를 사용해야 한다는 점을 명확히 하기 위해.
• 오차 분산이 알려진 조건에서 AIC 차이에 대한 유의성 검정을 개발하여, Akaike 가중치에 의존하는 것 대신 고전적 가설 검정을 가능하게 하기 위해.
• 모델 오특도가 AIC와 AICc 성능에 미치는 영향을 분석하고, 특히 오차 바가 없는 경우에 대해 고려하기 위해.
• 최근 천체물리학 문헌에서 AICc가 잘못 사용된 사례를 식별하고 목록화하여 방법론적 수정의 필요성을 부각시키기 위해.

제안 방법

• 정보 기준을 일반적 프레임워크에서 유도하여, Kullback–Leibler 발산과 최대우도기반 추정과 연결한다.
• 오차 분산이 알려지거나 알려지지 않은 선형 정규 회귀 모델에 프레임워크를 적용하여, AIC와 AICc의 적용 가능성을 구분한다.
• 비비대칭 카이제곱 분포를 사용하여 오특도 조건 하에서 AIC 차이의 표본 변동성을 모델링한다.
• ΔAIC의 표준오차를 추정하여 유의성 검정을 수행하고, p-값 계산을 가능하게 하는 가설 검정을 제안한다.
• Tan & Biswas(2012)에서 사용한 바와 같이 부트스트랩 절차를 활용하여 AICc의 변동성을 경험적으로 검증하지만, 주된 초점은 이론적 정당성에 맞춰져 있다.
• 모델 오특도 하에서 AICc의 渐近적 행동을 분석하여, 보정 항이 편향에 의해 압도당할 수 있음을 보여주며, 이는 특히 큰 표본에서 유용성이 감소함을 시사한다.

실험 결과

연구 질문

• RQ1 오차 바가 알려진 경우, 특히 오차 바가 제공되는 경우 AIC를 AICc 대신 사용해야 할 시점은 언제인가?
• RQ2 오차 분산이 알려진 두 모델 간의 AIC 값 차이를 사용하여 고전적 유의성 검정을 수행할 수 있는가?
• RQ3 모델 오특도가 오차 분산이 알려지지 않은 경우 AICc의 모델 선택 신뢰성에 어떤 영향을 미치는가?
• RQ4 명시적인 오차 바가 있는 데이터에 AICc를 잘못 적용할 경우의 결과는 무엇이며, 이 오류는 천체물리학 분야에서 얼마나 널리 퍼져 있는가?
• RQ5 AIC 차이의 변동성을 얼마나 정확히 추정할 수 있으며, 이를 통해 Akaike 가중치 사용을 대체할 수 있는가?

주요 결과

• 오차 분산이 알려지거나 오차 바로 제공되는 경우 AICc를 사용해서는 안 되며, 이러한 경우 AIC가 정확한 선택이다.
• 오차 분산이 알려진 경우, AIC 차이의 표본 변동성을 추정할 수 있으며, 이를 통해 p-값을 포함한 공식적인 유의성 검정이 가능하다.
• 제안된 AIC 차이 변동성 기반 유의성 검정은 빈도주의 기반의 타당성이 없는 Akaike 가중치를 대체할 수 있다.
• AICc의 오용은 천체물리학 문헌에서 흔한 문제이며, Biesiada & Piórkowska(2009), February 등(2010) 및 부록 B에 나열된 다른 논문들에서 관찰된다.
• 모델 오특도 하에서 AICc 보정 항은 편향에 의해 압도당할 수 있으며, 특히 큰 표본에서 그 유용성이 감소한다.
• 오차 바가 없는 데이터의 경우, 오특도로 인해 AICc가 알려지지 않은 정도로 이동할 수 있으며, 이는 모델 선택의 신뢰성에 악영향을 미친다.