[論文レビュー] Information-based inference for singular models and finite sample sizes: A frequentist information criterion

Colin LaMont, Paul A. Wiggins|arXiv (Cornell University)|Jun 19, 2015

Statistical Methods and Inference参考文献 30被引用数 3

ひとこと要約

本稿では、尤度の幾何構造、標本サイズ、パrameter多様体の構造に適応する頻度主義的近似を用いて、AICの漸近的近似によるモデルの複雑さの推定を置き換えることで、特異モデルおよび有限標本サイズにおけるモデル選択を改善する新しい情報量基準、頻度主義的情報基準（QIC）を提案する。QICは、複雑さの推定におけるバイアスを顕著に低減し、正則モデルおよび特異モデルの両方でAICやBICを凌駕するが、特に小標本またはスロッピー／同定不能なパrameter空間において顕著である。

ABSTRACT

In the information-based paradigm of inference, model selection is performed by selecting the candidate model with the best estimated predictive performance. The success of this approach depends on the accuracy of the estimate of the predictive complexity. In the large-sample-size limit of a regular model, the predictive performance is well estimated by the Akaike Information Criterion (AIC). However, this approximation can either significantly under or over-estimating the complexity in a wide range of important applications where models are either non-regular or finite-sample-size corrections are significant. We introduce an improved approximation for the complexity that is used to define a new information criterion: the Frequentist Information Criterion (QIC). QIC extends the applicability of information-based inference to the finite-sample-size regime of regular models and to singular models. We demonstrate the power and the comparative advantage of QIC in a number of example analyses.

研究の動機と目的

• AICが特異モデルおよび有限標本領域で、複雑さの推定に偏りが生じるため失敗することへの対処。
• AICのバイアスの根本的要因の特定、すなわちモデルの特異性、有限標本サイズ、パラメータの同定不能性。
• 尤度構造、標本サイズ、トレーニングアルゴリズムに適応する「頻度主義的複雑さ」と呼ばれる新たな複雑さの近似の開発。
• 正則モデルおよび特異モデルの両方において、AICやBICを凌駕する予測性能を示す、堅牢な改善型情報基準であるQICの提案。
• 生物物理学的および細胞生物学的データを用いた実証的分析を通じて、QICの優位性の実証。

提案手法

• AICの次元と標本サイズに依存する汎用関数ではなく、MLEパラメータにおける推定モデルに基づく、新たな複雑さの近似「頻度主義的複雑さ」を提案。
• 頻度主義的情報基準（QIC）を、負の対数尤度と頻度主義的複雑さの和として定義し、複雑さはパrameter多様体の曲率と幾何構造から導出する。
• ラプラス近似を用いて、正則モデルにおいて大標本サイズ極限でQICがAICと漸近的に同等になることを正当化。
• モデルの特異性に対処するため、同定不能なパラメータと外的曲率がMLEの分散に与える影響を分析し、複雑さ推定におけるバイアスの原因を特定。
• ニュートリノ強度のフーリエ基底モデルや共鳴モデルなどの実データ例にQICを適用し、性能を検証。
• QICがモデル構造に適応し、高多重度モデルではAICよりも大きな値を、スロッピーなモデルでは小さな値を示すことを実証（AICと比較）。

実験結果

リサーチクエスチョン

• RQ1 AICは、特異モデルおよび有限標本領域で、複雑さの推定が不正確であるためにどのように失敗するのか？
• RQ2 パラメータの同定不能性、標本サイズ、パラメータ多様体の幾何構造が、モデルの複雑さにどのように寄与するのか？
• RQ3 尤度関数、トレーニングアルゴリズム、標本サイズに適応する頻度主義的複雑さの近似を導出可能か？AICの固定次元仮定を凌駕できるか？
• RQ4 QICは、正則モデルおよび特異モデルの両方において、AICやBICと比較して予測性能に優れているか？
• RQ5 QICは、小標本またはスロッピーなパラメータ空間において、AICを顕著に上回る場面はどのような状況か？

主な発見

• 正則モデルにおいて、大標本サイズ極限ではQICはAICと漸近的に同等であり、従来の手法と整合性を保つ。
• 特異モデルにおいて、QICはモデル構造に応じてAICと著しく異なる値を示す（例：高多重度モデルでは大幅に大きく、スロッピーなモデルでは大幅に小さい）—これは、適応的な複雑さ推定のおかげ。
• QICにおける頻度主義的複雑さは、AICに比べて複雑さ推定のバイアスを低減し、有限標本における予測性能の向上に寄与する。
• QICは、AICの仮定が崩壊する状況を除き、複数の例の解析においてAICやBICを上回るモデル選択性能を示す。
• パラメータ多様体における外的曲率の有無が、MLEの分散推定の正確さに顕著に影響を与えるが、QICはその幾何構造に配慮した複雑さを用いることでこれを補正する。
• ニュートリノ強度のフーリエ基底モデルでは、QICが季節的依存性の複雑さを正しく捉えており、非i.i.d.構造を有する実世界データにおいても頑健性を示している。