[論文レビュー] Catching Up Faster by Switching Sooner: A Prequential Solution to the AIC-BIC Dilemma

Tim van Erven, Peter Grünwald+1 more|ArXiv.org|Jul 7, 2008

Gaussian Processes and Bayesian Inference参考文献 37被引用数 15

ひとこと要約

本稿は、スイッチ分布を導入することでAIC-BICのジレンマを解決する。これは予測順序的（MDL風）な手法であり、ベイズ的整合性とAICに似た最適な収束速度を併せ持つ。モデルのスイッチを隠れマルコフ過程でモデル化することで、整合性を損なわず収束を高速化でき、非パラメトリック設定において最適な収束速度を達成する。

ABSTRACT

Bayesian model averaging, model selection and its approximations such as BIC are generally statistically consistent, but sometimes achieve slower rates og convergence than other methods such as AIC and leave-one-out cross-validation. On the other hand, these other methods can br inconsistent. We identify the "catch-up phenomenon" as a novel explanation for the slow convergence of Bayesian methods. Based on this analysis we define the switch distribution, a modification of the Bayesian marginal distribution. We show that, under broad conditions,model selection and prediction based on the switch distribution is both consistent and achieves optimal convergence rates, thereby resolving the AIC-BIC dilemma. The method is practical; we give an efficient implementation. The switch distribution has a data compression interpretation, and can thus be viewed as a "prequential" or MDL method; yet it is different from the MDL methods that are usually considered in the literature. We compare the switch distribution to Bayes factor model selection and leave-one-out cross-validation.

研究の動機と目的

• モデル選択における統計的整合性（BIC、ベイズ）と高速な収束速度（AIC、LOO）の根本的トレードオフに対処すること。
• 非パラメトリック設定において、真の分布がモデル集合の閉包に属するが個々のモデルに属しない場合に、ベイズ手法がなぜ遅く収束するかを説明すること——これは「取り返し現象（catch-up phenomenon）」と呼ばれる現象で、初期段階では単純なモデルが複雑なモデルを上回るが、後に取り返される。
• ベイズ的整合性を保ちつつ、AICおよびLOOの最適な収束速度を達成する新しい手法を開発すること。
• 逐次予測およびモデル選択タスクに実装可能な、実用的で効率的なアルゴリズムを提供すること。

提案手法

• スイッチ分布をベイジアン周辺分布の修正として提案し、モデルが「スイッチ中」か「安定中」かを示す隠れ状態（M_n）を導入する。
• スイッチ過程を、遷移確率 π(M_{n+1}=0|M_n=0) = θ および π(M_{n+1}=1|M_n=1) = 1−θ を持つマルコフ連鎖としてモデル化することで、動的モデル選択を可能にする。
• 2成分の混合分布を用い、スイッチしていないモデル（M_n=0）とスイッチ済みのモデル（M_n=1）を別々に扱い、スイッチ時刻の事前分布に従って重みを調整する。
• スイッチ分布 p_sw(x^n) を、隠れマルコフモデルにおけるパスの和として定義し、モデルインデックスとスイッチ時刻を事前分布 π(Z=n|Z≥n) とともに統合して定式化する。
• 逐次的に予測密度を用いて更新する効率的な再帰的アルゴリズムを実装し、活性モデル（w^a_k）とスイッチ済みモデル（w^b_k）の重みを維持する。
• 不変性を保証することで正しさを確保：各ステップで w^a_k および w^b_k は、データ、モデルインデックス、スイッチ状態の同時確率を表し、周辺確率を保持する。

実験結果

リサーチクエスチョン

• RQ1 真の分布がモデル集合の閉包に属するが、どの個別モデルにも属しない非パラメトリック設定において、なぜベイズ的モデル選択手法は遅く収束するのか？
• RQ2 BIC/Bayesの整合性とAIC/LOOの最適な収束速度の両方を達成できる手法を設計できるか？
• RQ3 予測順序的（逐次予測）手法として、モデル間を適応的にスイッチさせ、最良の固定モデルよりもコード長が短くなるように構築できるか？
• RQ4 「取り返し現象（catch-up phenomenon）」がベイズ的収束を遅くする役割を果たす理由は何か？ そして、この現象を活用して予測速度を向上させることは可能か？
• RQ5 最適な収束性と整合性の性質を持つ、実用的で効率的なアルゴリズムは存在するか？

主な発見

• スイッチ分布は、AICおよびLOOと同等の最適な収束速度（定数倍の差異を除いて）を達成する予測において最適な収束速度を達成する。
• この手法は統計的に整合的である：真の分布がモデル集合の閉包に属する場合、スイッチ分布は漸近的に最良の近似モデルを選択する。
• スイッチ分布のコード長は最適なレートからO(log n)の差異に抑えられ、多くの場合、標準的なMDLやBICが直面する対数因子の影響を受けない最適なレートを達成する。
• 提案されたアルゴリズムは線形時間でスイッチ分布を効率的に計算でき、逐次予測およびモデル選択に実用的である。
• スイッチ分布は、モデルスイッチに適応的に対応する予測順序的（MDL風）手法として解釈でき、固定モデルのベイジアン平均化やAIC型手法を上回る性能を発揮する。
• 実験的比較により、非パラメトリック設定において、スイッチ分布はベイズファクターによるモデル選択およびLOO交差検証よりも、予測の対数損失の観点で優れていることが示された。