[論文レビュー] Information Criteria for Deciding between Normal Regression Models

Robert S. Maier|arXiv (Cornell University)|May 23, 2013

Statistical Mechanics and Entropy参考文献 52被引用数 5

ひとこと要約

本論文は、物理科学分野における正規回帰モデルの選択において、情報量基準（特にAICとAICc）の正しい適用方法を明確にしている。AICcは誤差分散が未知の場合にのみ使用すべきであり、誤差バーが既知の場合はAICが適切である。主な貢献は、誤差分散が既知である場合のAIC差の有意性検定であり、これはアカイケ重みの代替となり、天体物理学的および物理的データ解析におけるモデル選択の信頼性を向上させる。

ABSTRACT

Regression models fitted to data can be assessed on their goodness of fit, though models with many parameters should be disfavored to prevent over-fitting. Statisticians' tools for this are little known to physical scientists. These include the Akaike Information Criterion (AIC), a penalized goodness-of-fit statistic, and the AICc, a variant including a small-sample correction. They entered the physical sciences through being used by astrophysicists to compare cosmological models; e.g., predictions of the distance-redshift relation. The AICc is shown to have been misapplied, being applicable only if error variances are unknown. If error bars accompany the data, the AIC should be used instead. Erroneous applications of the AICc are listed in an appendix. It is also shown how the variability of the AIC difference between models with a known error variance can be estimated. This yields a significance test that can potentially replace the use of `Akaike weights' for deciding between such models. Additionally, the effects of model misspecification are examined. For regression models fitted to data sets without (rather than with) error bars, they are major: the AICc may be shifted by an unknown amount. The extent of this in the fitting of physical models remains to be studied.

研究の動機と目的

• 誤差バーが一般的に提供される天体物理学を含む物理科学分野で広く見られるAICcの誤用を是正すること。
• 誤差分散が未知でない場合にのみAICcが有効であることの明確化。誤差バーが既知の場合はAICを用いるべきである。
• 誤差分散が既知である場合のAIC差の有意性検定を確立し、アカイケ重みに依存するのではなく、古典的仮説検定を可能にすること。
• モデルの誤特定がAICおよびAICcの性能に与える影響を検討すること、特に誤差バーが存在しない場合の影響を含む。
• 最近の天体物理学の文献におけるAICcの誤用を特定・列挙し、方法論的是正の必要性を強調すること。

提案手法

• 一般枠組みにおいて情報量基準を導出し、カルバック・ライバラー情報量と最尤推定（MLE）に基づく推定とを関連付ける。
• 誤差分散が既知または未知の線形正規回帰モデルにこの枠組みを適用し、AICとAICcの適用可能性を区別する。
• 非心カイ二乗分布を用いて、モデル誤特定下でのAIC差の標本変動性をモデル化する。
• ΔAICの標準誤差を推定することで、AIC差の仮説検定を提案し、p値の計算を可能にする。
• ブートストラップ手順（Tan & Biswas, 2012 に準拠）を用いてAICcの変動性を経験的に検証するが、主な焦点は理論的裏付けにある。
• モデル誤特定下でのAICcの漸近的挙動を分析し、補正項がバイアスに飲み込まれる可能性があることを示す。

実験結果

リサーチクエスチョン

• RQ1 誤差バーが既知の状況において、回帰モデル選択でAICをAICcよりも使用すべきタイミングはいつか？
• RQ2 誤差分散が既知である2つのモデル間のAIC値の差を用いて、古典的有意性検定を実施できるか？
• RQ3 モデル誤特定が、特に誤差分散が未知の状況でAICcのモデル選択における信頼性に与える影響はいかほどか？
• RQ4 明示的な誤差バーを持つデータにAICcを誤って適用した場合の結果は何か？また、この誤りは天体物理学分野でどれほど広範に見られるか？
• RQ5 AIC差の変動性をどの程度正確に推定できるか？その推定により、モデル比較におけるアカイケ重みの使用を代替可能か？

主な発見

• 誤差分散が既知、または誤差バーとして提供されている場合には、AICcを使用すべきではない。このような状況ではAICが正しい選択である。
• 誤差分散が既知の場合、AIC差の標本変動性を推定可能であり、これによりp値を用いた形式的な有意性検定が可能になる。
• AIC差の変動性に基づく提案された有意性検定は、頻度的推論の根拠が乏しいアカイケ重みの使用を代替可能である。
• 誤ったAICcの使用は天体物理学の文献に広く見られ、Biesiada & Piórkowska (2009) や February et al. (2010) などの論文を含むが、付録Bにリストアップされている。
• モデル誤特定下では、AICcの補正項がバイアスに飲み込まれる可能性があり、特に大標本ではその有用性が低下する。
• 誤差バーのないデータでは、モデル誤特定によりAICcが未知の量だけずれるため、モデル選択における信頼性が損なわれる。