[論文レビュー] AIC for Non-concave Penalized Likelihood Method

Yuta Umezu, Yusuke Shimizu+2 more|arXiv (Cornell University)|Sep 5, 2015

Statistical Methods and Inference参考文献 25被引用数 7

ひとこと要約

本稿では、非凸な罰則付き尤度法（ブリッジ、SCAD、MCPなど）に対して、元々のAIC定義に基づく新しい情報量基準を提案する。スコア統計量に基づく漸近的バイアス評価を通じて、Kullback-Leibler情報量の漸近的不偏推定量を導出し、モデル選択の一貫性に依存せず、予測誤差を最小化する。シミュレーション研究では、交差検証を上回る性能を示す。

ABSTRACT

Non-concave penalized maximum likelihood methods, such as the Bridge, the SCAD, and the MCP, are widely used because they not only do parameter estimation and variable selection simultaneously but also have a high efficiency as compared to the Lasso. They include a tuning parameter which controls a penalty level, and several information criteria have been developed for selecting it. While these criteria assure the model selection consistency and so have a high value, it is a severe problem that there are no appropriate rules to choose the one from a class of information criteria satisfying such a preferred asymptotic property. In this paper, we derive an information criterion based on the original definition of the AIC by considering the minimization of the prediction error rather than the model selection consistency. Concretely speaking, we derive a function of the score statistic which is asymptotically equivalent to the non-concave penalized maximum likelihood estimator, and then we provide an asymptotically unbiased estimator of the Kullback-Leibler divergence between the true distribution and the estimated distribution based on the function. Furthermore, through simulation studies, we check that the performance of the proposed information criterion gives almost the same as or better than that of the cross-validation.

研究の動機と目的

• SCAD や MCP などの非凸な罰則付き尤度法におけるチューニングパラメータ選択の恣意性を解消すること。
• モデル選択の一貫性に依存せず、予測誤差を最小化することを目的とした、元々のAIC定義に基づく情報基準の構築。
• 真の分布と推定分布の間のKullback-Leibler情報量の理論的裏付けのある、漸近的不偏推定量の提供。
• すべてのモデル選択の一貫性を満たす情報基準の間で選択するための原理的ルールの欠如を克服すること。
• 高次元設定における非凸的・非凸的罰則（Lassoに限らない）にまでAICに基づく基準を拡張すること。

提案手法

• 推定の一貫性の下で、HjortとPollard (1993) の結果を非凸な罰則付き推定量の漸近的性質に拡張する。
• スコア統計量の関数を構築し、非凸な罰則付き最尤推定量と漸近的に同等となるようにする。
• 漸近的バイアス評価を用いて、真の分布と推定分布の間のKullback-Leibler情報量の推定量を導出する。
• KL情報量推定量のバイアスが平均について0に収束することを保証し、厳密な漸近的不偏性を確立する。
• 漸近的バイアス評価を用いて、予測誤差最小化に基づく新しい情報基準を定義する。
• 交差検証との性能比較を含むシミュレーション研究を通じて、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 元々のAIC定義に基づく情報基準を、モデル選択の一貫性に依存せず、予測誤差を最小化する形で導出可能か？
• RQ2 非凸な罰則付き尤度推定量に対して、漸近的不偏なKullback-Leibler情報量推定量を構築可能か？
• RQ3 提案手法の情報基準は、交差検証と比較して予測精度およびチューニングパラメータ選択において優れているか？
• RQ4 提案手法は推定の一貫性を維持しながら、一貫性を持つ情報基準の間での選択の恣意性を回避できるか？
• RQ5 AICフレームワークはLassoに限らず、SCAD や MCP のような非凸罰則へと拡張可能か？

主な発見

• 提案された情報基準は、Kullback-Leibler情報量に対して漸近的不偏であり、バイアスが平均について0に収束する。
• モデル選択の一貫性に依存せず、元々のAICの原則を直接的・明示的に狙うことで、予測誤差の最小化を達成する。
• シミュレーション研究では、予測精度の観点で交差検証と同等またはそれを上回る性能を示す。
• Kullback-Leibler情報量推定量は、スコア統計量に基づく漸近的バイアス評価を用いて構築され、理論的厳密性を保証する。
• 従来のAIC拡張が限られていたブリッジ、SCAD、MCPなどの非凸罰則へとAICに基づく基準を拡張する。
• 情報基準の選択における恣意性を、予測誤差最小化に基づく根拠によって解消する。