[論文レビュー] A Unified Treatment of Predictive Model Comparison

Michael Betancourt|arXiv (Cornell University)|Jun 7, 2015

Advanced Statistical Modeling Techniques参考文献 2被引用数 4

ひとこと要約

本稿では、予測分布と真のデータ生成過程の間のカルバック・ライブラー発散に基づいて、相対的予測性能の標準的尺度を導出することによって、予測モデルの比較を統一的に行うフレームワークを提示する。このフレームワークにより、交差検証、情報量基準（WAIC、DIC）、事後予測チェックといった広く用いられている手法が、この基礎的スコアの近似として生じることを示し、それらの強み・弱み・実用的トレードオフを統一的に理解する理論的基盤を提供する。

ABSTRACT

The predictive performance of any inferential model is critical to its practical success, but quantifying predictive performance is a subtle statistical problem. In this paper I show how the natural structure of any inferential problem defines a canonical measure of relative predictive performance and then demonstrate how approximations of this measure yield many of the model comparison techniques popular in statistics and machine learning.

研究の動機と目的

• 特定のモデリング仮定に依存しない、理論的に根拠のある相対的予測性能の標準的尺度を確立すること。
• 統計学および機械学習分野で一般的に用いられるモデル比較手法が、この標準的尺度の近似としてどのように生じるかを示すこと。
• これらの近似に内在する仮定、バイアス、不確実性を明確にし、より責任あるモデル選択を可能にすること。
• 交差検証、WAIC、DIC、事後予測チェックといった多様なアプローチを、一つの理論的基盤の下に統合すること。
• すべてのモデル比較手法が不確実性を伴う推定値であり、決定的なモデル選択という考えを疑問視すること。

提案手法

• 推定された予測分布と真の潜在的データ生成過程との間のカルバック・ライブラー発散を用いて、標準的相対的予測性能スコアを導出する。
• 候補モデルを表す確率測度の部分集合としての「小さな世界（small world）」を定義し、真のデータ生成過程を含まない可能性があること（ボックスの哲学に従う）を認識する。
• 頻度主義的およびベイズ的推論の両方に測度論的基盤を適用し、相対的性能スコアを構築する予測分布を導出する。
• 再利用、ホールドアウト、ジャックナイフ推定量を用いて標準的スコアを近似し、交差検証や事後予測チェックといった実用的手法と関連付ける。
• 情報量基準（WAIC や DIC）が、事後予測相対的予測性能スコアの特定の近似として生じることを示す。
• 複数のデータセットにわたるアンサンブルシミュレーションを用いて、これらの近似の正確性と精度を、真の標準的スコアに対して評価する。

実験結果

リサーチクエスチョン

• RQ1 いかにして任意の推論モデルに対して、一意の標準的相対的予測性能尺度を定義できるか？
• RQ2 交差検証や情報量基準といった広く用いられているモデル比較手法の理論的基盤は何か？
• RQ3 既存手法における仮定と近似が、予測性能の評価における正確性と信頼性にどのように影響するか？
• RQ4 頻度主義的およびベイズ的推論フレームワークは、どのようにして異なるが関連する予測性能スコアを生じるか？
• RQ5 モデル比較の近似におけるバイアスと分散を定量的に理解し、どのように伝えることができるか？

主な発見

• 標準的相対的予測性能スコアは、予測分布と真のデータ生成過程の間のカルバック・ライブラー発散として定義され、理論的には最適であるが、実際には計算不能である。
• 交差検証、WAIC、DIC、事後予測チェックといった一般的なモデル比較手法は、すべてこの標準的スコアの近似として解釈可能である。
• ホールドアウトやジャックナイフ推定量といった近似は、予測交差検証などの手法を生じさせ、モデルの不適合や過適合の両状況で一貫した性能を示す。
• WAICは、事後予測相対的予測性能スコアの近似であることが示され、対数尤度の期待値と分散を含む特定の解析的表現を持つ。
• DICは、点推定を用いた場合のWAICの特殊ケースとして導出され、特定のモデルが「小さな世界」から選ばれるという選択に依存していることが強調される。
• 複数のデータセットのアンサンブルを用いた実証的評価により、近似誤差は定量的に評価可能であり、再利用やホールドアウトといった異なる近似手法の性能は、推定量誤差の分位数（20%、50%、80%）において同等であることが示された。