[論文レビュー] Schwarz type model comparison for LAQ models

Shoichi Eguchi, H. Masuda|arXiv (Cornell University)|Jun 6, 2016

Bayesian Methods and Mixture Models参考文献 31被引用数 3

ひとこと要約

本稿では、局所的に漸近的に2次的（LAQ）モデルにおけるモデル選択のための準ベイズ情報基準（QBIC）を提案する。これは、非定常的かつ相関のあるデータモデル、および確率的漸近的フィッシャー情報行列を有する非定常的・非エルゴディックなモデルへ、スカラーベイズのBICを拡張したものである。本手法は、周辺準尤度の確率的展開を用い、一般のLAQ条件下でのモデル選択の一貫性を確立する。これには、エルゴディック拡散過程や非エルゴディック過程が含まれる。

ABSTRACT

For model-specification purpose, we study asymptotic behavior of the marginal quasi-log likelihood associated with a family of locally asymptotically quadratic (LAQ) statistical experiments. Our result entails a far-reaching extension of applicable scope of the classical approximate Bayesian model comparison due to Schwarz, with frequentist-view theoretical foundation. In particular, the proposed statistics can deal with both ergodic and non-ergodic stochastic-process models, where the corresponding $M$-estimator is of multi-scaling type and the asymptotic quasi-information matrix is random. Focusing on the ergodic diffusion model, we also deduce the consistency of the multistage optimal-model selection where we may select an optimal sub-model structure step by step, so that computational cost can be much reduced. We illustrate the proposed method by the Gaussian quasi-likelihood for diffusion-type models in details, together with several numerical experiments.

研究の動機と目的

• 従来のスカラーベイズBICを、依存的または非エルゴディックなデータ構造を有する統計的モデルの広いクラスへ拡張すること。
• 漸近的フィッシャー情報行列が確率的であるような、局所的に漸近的に2次的（LAQ）モデルにおけるベイズ的モデル比較の頻度主義的基礎を提供すること。
• モデルの不適合性や無限次元のネイジスパrameterを伴う状況でも有効である、準尤度に基づくモデル選択の統一的枠組みを構築すること。
• エルゴディック拡散モデルにおける段階的モデル選択の一致性を確立し、逐次的構造選択によって計算コストを低減すること。
• 既存の情報基準を、マルチスケーリングM推定量および確率的極限フィッシャー情報行列を扱えるように一般化すること。

提案手法

• 多項式型大偏差不等式（PLDI）を用いて周辺準尤度の漸近的展開を導出し、確率的漸近的情報行列下での解析を可能にする。
• 確率的展開に基づく準ベイズ情報基準（QBIC）を導入し、観測された情報行列および対数行列式項を組み込む。
• 拡散型モデルにおける正規準尤度へのQBICの適用により、LAQ構造下での理論的妥当性を保証する。
• エルゴディック拡散モデルにおける2段階選択手順を用い、部分モデルを逐次的に選択することで計算負担を低減する。
• M推定量のマルチスケーリング行動を扱うためにスケーリングパラメータ $ a_n $ を用い、正規化スコア過程を用いて漸近的分布を導出する。
• 真のモデルが最低のQBICを達成する確率が $ n \to \infty $ で1に収束することを示すことにより、モデル選択の一致性を確立する。

実験結果

リサーチクエスチョン

• RQ1 漸近的フィッシャー情報行列が確率的である非エルゴディックな確率過程へ、スカラーベイズ型モデル比較を拡張できるか？
• RQ2 提案されたQBICは、マルチスケーリングM推定量および確率的極限情報行列を有するLAQモデルに対しても一貫性を保つのか？
• RQ3 エルゴディック拡散モデルにおいて段階的モデル選択を一貫して適用できるか？ これにより計算コストを低減できるか？
• RQ4 モデルの不適合性や無限次元パrameterを伴う半パラメトリック設定下でQBICはどのように振る舞うか？
• RQ5 非i.i.d.設定、例えば非定常時系列や共積分モデルのような状況でも、古典的BIC形式は回復可能か？

主な発見

• 提案されたQBICは、弱い正則性条件の下で、漸近的情報行列が確率的であってもLAQモデルにおけるモデル選択の一貫性を達成する。
• エルゴディック拡散モデルでは、段階的最適モデル選択手順が一貫しており、標本サイズが増加するにつれて真のモデルが選択される確率が1に収束する。
• QBICは漸近的に周辺準尤度を近似し、真のモデル下ではモデル間の差が確率的に負の値に収束する。
• 本手法は、古典的BICを非エルゴディックかつ相関のあるデータモデル、特に共積分時系列や非定常時系列へ一般化し、従来の基準が失敗する状況でも有効である。
• 準尤度の漸近的展開はPLDIに依存し、観測された情報行列が確率的極限に分布収束する場合でもQBICの導出が可能になる。
• 数値実験により、正規準尤度設定下でのQBICの有効性が確認され、さまざまなモデル構造においてロバストで一貫性のある性能を示した。