[논문 리뷰] Information-based inference for singular models and finite sample sizes: A frequentist information criterion

Colin LaMont, Paul A. Wiggins|arXiv (Cornell University)|2015. 06. 19.

Statistical Methods and Inference참고 문헌 30인용 수 3

한 줄 요약

이 논문은 AIC의 점점 줄어드는 점근적 근사치를 사용하는 대신, 가능도 기하학, 표본 크기, 매개변수 다양체의 구조에 적응하는 실질적 근사치를 사용하여, 특이 모형과 유한 표본 크기에서의 모형 선택을 향상시키는 새로운 정보 기준인 빈도주의 정보 기준(QIC)을 제안한다. QIC는 복잡도 추정의 편향을 크게 줄이며, 특히 작은 표본이나 느슨한/식별 가능한 매개변수 공간에서 AIC와 BIC를 능가한다.

ABSTRACT

In the information-based paradigm of inference, model selection is performed by selecting the candidate model with the best estimated predictive performance. The success of this approach depends on the accuracy of the estimate of the predictive complexity. In the large-sample-size limit of a regular model, the predictive performance is well estimated by the Akaike Information Criterion (AIC). However, this approximation can either significantly under or over-estimating the complexity in a wide range of important applications where models are either non-regular or finite-sample-size corrections are significant. We introduce an improved approximation for the complexity that is used to define a new information criterion: the Frequentist Information Criterion (QIC). QIC extends the applicability of information-based inference to the finite-sample-size regime of regular models and to singular models. We demonstrate the power and the comparative advantage of QIC in a number of example analyses.

연구 동기 및 목표

• 특이 모형과 유한 표본 영역에서 AIC의 실패 원인인 복잡도 추정의 편향을 해결하기 위해.
• AIC의 편향의 근본 원인인 모형 특이성, 유한 표본 크기, 매개변수 식별 불가능성 등을 규명하기 위해.
• 가능도의 구조, 표본 크기, 학습 알고리즘에 적응하는 새로운 복잡도 근사치인 '빈도주의 복잡도'를 개발하기 위해.
• 정규 모형과 특이 모형 모두에서 AIC와 BIC를 능가하는 예측 성능을 보이는 강력한 개선된 정보 기준인 QIC를 제안하기 위해.
• 생물물리학 및 세포 생물학 데이터에 대한 실증 분 析를 통해 QIC의 우수성을 입증하기 위해.

제안 방법

• 모형 차원과 표본 크기의 일반 함수가 아닌, 최대우도추정치(MLE)에서 추정된 모형을 기반으로 한 새로운 복잡도 근사치인 '빈도주의 복잡도'를 제안한다.
• 빈도주의 정보 기준(QIC)을 음의 로그우도와 빈도주의 복잡도의 합으로 정의하며, 복잡도는 매개변수 다양체의 곡률과 기하학적 성질에서 유도된다.
• 정규 모형에서 표본 크기가 매우 클 경우 QIC와 AIC가 점점 동일해지는 점근적 등가성을 라플라스 근사로 정당화한다.
• 모형 특이성을 고려하여, 식별 불가능한 매개변수와 외재적 곡률이 MLE의 분산에 미치는 영향을 분석함으로써 복잡도 추정의 편향 원인을 규명한다.
• 실제 데이터 예제에 QIC를 적용하여 성능을 검증한다. 예를 들어 중성미자 강도의 푸리에 기반 모형과 공진 모형을 활용한다.
• QIC가 모형 구조에 적응하여 고다중도 모형에서는 더 큰 값, 느슨한 모형에서는 더 작은 값을 도출함으로써 AIC와의 비교에서 유의미한 차이를 보임을 보여준다.

실험 결과

연구 질문

• RQ1 왜 AIC는 특이 모형과 유한 표본 영역에서 정확한 복잡도 추정의 실패로 인해 실패하는가?
• RQ2 매개변수 식별 불가능성, 표본 크기, 매개변수 다양체 기하학이 모형 복잡도를 결정하는 데 어떤 역할을 하는가?
• RQ3 가능도 함수, 학습 알고리즘, 표본 크기에 적응하는 빈도주의 복잡도 근사치를 도출할 수 있는가? 이는 AIC의 고정 차원 가정을 초월하는가?
• RQ4 QIC는 정규 모형과 특이 모형 모두에서 AIC와 BIC와 비교해 예측 성능가 어떻게 다를까?
• RQ5 어떤 상황에서 QIC는 특히 작은 표본이나 느슨한 매개변수 공간에서 AIC를 크게 능가하는가?

주요 결과

• 정규 모형에서 대표 표본 크기의 극한에서 QIC는 AIC와 점점 동일해지며, 기존 방법과의 일관성을 보장한다.
• 특이 모형에서는 QIC가 모형 구조에 따라 AIC보다 훨씬 크거나 작을 수 있다. 예를 들어 고다중도 모형에서는 훨씬 크며, 느슨한 모형에서는 훨씬 작다. 이는 QIC의 적응형 복잡도 추정 덕분이다.
• QIC의 빈도주의 복잡도 추정은 AIC보다 복잡도 추정의 편향을 줄이며, 이는 유한 표본에서 예측 성능 향상으로 이어진다.
• QIC는 여러 예시 분석에서 AIC와 BIC를 모두 능가하는 모형 선택 성능을 보이며, 특히 AIC의 가정이 붕괴되는 경우에 뚜렷한 우수성을 보인다.
• 매개변수 다양체의 외재적 곡률의 유무는 MLE 분산 추정의 정확도에 큰 영향을 미치며, QIC는 이를 기하학적 정보를 반영한 복잡도로 보정한다.
• 중성미자 강도의 푸리에 기반 모형에서 QIC는 계절적 의존성의 복잡도를 정확히 포착하여, 비.i.i.d. 구조를 가진 실제 데이터에서의 강건성을 입증한다.