[論文レビュー] Conditional AIC under Covariate Shift with Application to Small Area Prediction

Yuki Kawakubo, Shonosuke Sugasawa+1 more|arXiv (Cornell University)|Jan 1, 2014

Statistical Methods and Bayesian Inference参考文献 18被引用数 2

ひとこと要約

本稿では、訓練データと予測データにおける共変量分布の違い（共変量シフト）がある状況下で線形混合モデルにおける変数選択のための条件付きAIC基準を提案する。この基準は、条件付きAICを予測時における共変量分布の違いを考慮できるように拡張したものであり、分布シフトにさらされた状況でも一般化性能の高い固定効果を選択することで、小領域推定の性能を向上させる。シミュレーション研究によりその有効性が実証されている。

ABSTRACT

In this paper, we consider the problem of selecting explanatory variables of fixed effects in linear mixed models under covariate shift, which is the situation that the values of covariates in the predictive model are different from those in the observed model. We construct a variable selection criterion based on the conditional Akaike information introduced by Vaida and Blanchard (2005) and the proposed criterion is generalization of the conditional Akaike information criterion (conditional AIC) in terms of covariate shift. We especially focus on covariate shift in small area prediction and show usefulness of the proposed criterion through simulation studies.

研究の動機と目的

• 予測時の共変量が観測データと異なる（共変量シフト）状況下での線形混合モデルにおける変数選択を扱う。
• 特に小領域推定の文脈において、共変量の分布シフトを考慮した条件付きAIC基準を拡張する。
• 分布シフト下でも一般化性能が優れる固定効果を選択することで、予測性能を向上させる。
• 混合効果モデルにおける共変量シフト下でのモデル選択に対して、理論的裏付けと実証的妥当性を兼ね備えた基準を提供する。

提案手法

• 予測時の共変量分布に基づいて尤度寄与を再重み付けすることで、共変量シフトを条件付きアカイケ情報基準（cAIC）フレームワークに組み込む。
• 観測時と予測時の共変量分布の違いを補正する一般化された条件付きAIC基準を導出する。
• 分散効果のEmpirical Bayes推定量を用いて、分布シフト下での条件付き尤度を計算する。
• 提案された基準を用いて線形混合モデルにおける固定効果を選択し、共変量シフト下での予測リスクを最小化するモデルを優先する。
• 変数選択の安定性を確保するため、条件付き対数尤度のバイアス補正近似を用いる。
• 小領域推定における制御された共変量シフトシナリオ下で、シミュレーション研究により基準の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 予測時の共変量分布が学習データとは異なる状況下で、条件付きAICはどのようにして変数選択に対応できるか？
• RQ2 標準的なcAICと比較して、本稿で提案する基準は共変量シフト下でも小領域推定の性能を向上させるか？
• RQ3 共変量シフトが固定効果の選択に与える影響は何か？ また、その影響を緩和するためにはモデル選択基準をどのように調整すべきか？
• RQ4 さまざまなシフトパターン下で、提案された基準は予測精度および変数選択の一貫性においてどの程度の性能を示すか？

主な発見

• 共変量分布が学習時と予測時で異なる状況下で、本稿で提案する共変量シフト下の条件付きAICは、標準的なcAICよりも高い予測精度を達成する。
• 共変量分布がシフトしても、本手法は関連する固定効果を効果的に同定でき、小領域推定における予測バイアスを低減する。
• シミュレーション研究により、本基準はさまざまな度合いの共変量シフト下でも良好な変数選択性能を維持することが確認された。
• 本基準は、分布シフト下でも安定的かつ一貫性のあるモデル選択手法を提供する。