[논문 리뷰] An Exponential-Polynomial Divergence-based Robust Information Criterion for Linear Panel Data Models and Neural Networks

Udita Goswami, Shuvashree Mondal|arXiv (Cornell University)|2026. 03. 25.

Spatial and Panel Data Analysis인용 수 0

한 줄 요약

지수-다항 발산 정보 기준(EPDIC)과 최소 지수-다항 발산 추정기(MEPDE)를 도입하여 오염 데이터에서 강건한 모델 선택을 제공하고, 일반화된 점수 매칭으로 조정합니다. 선형 패널 데이터 모델과 신경망에 적용되며 영향 함수 분석 포함.

ABSTRACT

Model selection is a cornerstone of statistical inference, where information criteria are widely employed to balance model fit and complexity. However, classical likelihood-based criteria are often highly sensitive to contamination, outliers, and model misspecification. In this paper, we develop a robust alternative based on the Exponential-Polynomial Divergence, a flexible extension of existing divergence measures that enhances adaptability to diverse data irregularities. The proposed Exponential-Polynomial Divergence Information Criterion preserves the objective of approximating the discrepancy between the true model and candidate models while incorporating robustness against anomalous observations. Its theoretical properties are established, and robustness is examined through influence function analysis, demonstrating controlled sensitivity to extreme data points. For practical implementation, a data-driven tuning parameter selection strategy based on generalized score matching is employed, ensuring improved computational stability and efficiency. The effectiveness of the proposed method is demonstrated through extensive simulation studies under varying contamination levels, as well as real data applications involving linear mixed-effects panel data models and neural network-based prediction tasks. The results consistently show improved stability and reliability compared to classical likelihood and density power divergence-based information criteria. The proposed framework thus provides a practical and unified approach for model selection in complex and contaminated data settings.

연구 동기 및 목표

• 오염, 이상치, 그리고 모형 미적합이 존재하는 상황에서 강건한 모델 선택을 위한 동기를 부여한다.
• DPD, BED, KL 발산을 일반화하는 유연한 발산 기반 프레임워크를 개발한다.
• 지수-다항 발산 정보 기준(EPDIC)과 그 추정기 기반 특성을 정의하고 분석한다.
• 안정성과 효율성을 보장하기 위한 일반화된 점수 매칭(GSM)을 통한 조정 매개변수 선택을 제공한다.

제안 방법

• 세 가지 조정 매개변수(alpha, beta, gamma)를 가진 지수-다항 발산(EPD)을 정의하여 여러 발산(DPD, BED, KL)을 통합한다.
• 경험적 EPD를 최소화하여 최소 지수-다항 발산 추정기(MEPDE)를 도출하고, 가중치 w(t)=beta t e^{alpha t}+(1-beta)(1+gamma)t^{gamma}인 가중 추정 방정식으로 이어진다.
• MEPDE가 독립적 비균질 관찰에 대한 MDPDE의 강건한 일반화임을 보이고 정상성 조건하에서 일관성과 점근적 정상성을 보인다.
• 지수-다항 발산 정보 기준(EPDIC)을 nH_n^{(alpha,beta,gamma)}( hetâ) + tr(Omega Psi^{-1})로 형식화하고 강건한 프레임워크에서 TIC와 AIC와의 연결 고리를 확립한다.
• EPDIC의 영향 함수에 의해 강건성을 분석하고 alpha>0 및 gamma>0일 때 영향을 유계로 보임을 보인다.
• 일반화된 점수 매칭(GSM)을 통한 조정 매개변수 선택을 제안하고 피셔 발산을 최소화하여 (alpha, beta, gamma)를 선택한다.

실험 결과

연구 질문

• RQ1 오염 하에서 모델 선택을 위한 지수-다항 발산 기반의 강건한 정보 기준을 어떻게 구성하는가?
• RQ2 제안된 MEPDE와 EPDIC의 해석적 수렴성 및 강건성 특성(일관성, 정규성, 영향 함수)은 무엇인가?
• RQ3 데이터 주도적이고 안정적인 방식으로 GSM을 사용하여 조정 매개변수(alpha, beta, gamma)를 어떻게 선택하는가?
• RQ4 패널 데이터와 신경망 맥락에서 제안된 방법이 고전적인 가능도 기반 기준 및 DPD 기반 기준에 비해 안정성 및 신뢰성을 향상시키는가?

주요 결과

• EPDIC는 AIC/TIC에 대한 강건한 대안을 제공하며, 점근적 TIC 유사 보정 항인 tr(Omega Psi^{-1})를 가진다.
• MEPDE는 독립 비균질 데이터에 대한 표준 규칙 조건에서 일관성과 점근적 정상성을 가진다.
• EPDIC의 영향 함수는 alpha>0 및 gamma>0인 경우 유계여서 이상치에 대한 강건성을 시사한다; (alpha,beta,gamma)가 (0,0,0)으로 접근하면 무한대가 된다.
• GSM 기반 조정 매개변수 선택은 정규화 상수 없이 (alpha, beta, gamma)를 데이터에 적응적이고 계산적으로 안정적으로 선택하는 방법을 제공한다.
• 시뮬레이션 및 실제 데이터 실험(선형 혼합효과 패널 모델 및 신경망 과제)은 고전적 가능도 및 DPD 기반 기준에 비해 안정성과 신뢰성이 향상됨을 보인다.