[論文レビュー] Asymptotically optimal empirical Bayes inference in a piecewise constant sequence model

Ryan Martin, Weining Shen|arXiv (Cornell University)|Dec 11, 2017

Bayesian Methods and Mixture Models被引用数 4

ひとこと要約

本稿では、階差定数ガウス系列モデルに対して漸近的に最適な事後濃縮率を達成する経験的ベイズ手法を提案する。共役経験的事前分布を用いることで、計算的に効率的な事後推論が可能となり、最小最大推定が実現される。

ABSTRACT

Inference on high-dimensional parameters in structured linear models is an important statistical problem. In this paper, for the piecewise constant Gaussian sequence model, we develop a new empirical Bayes solution that enjoys adaptive minimax posterior concentration rates and, thanks to the conjugate form of the empirical prior, relatively simple posterior computations.

研究の動機と目的

• 線形モデルにおける高次元的構造化パrameter推定の課題に対処すること。
• 階差定数ガウス系列モデルに対する最小最大最適な経験的ベイズ手順を開発すること。
• さまざまな滑らかさレベルにおいて、適応的な事後濃縮率を保証すること。
• 共役事前分布の構築により、計算的に取り扱いやすい事後推論を可能にすること。

提案手法

• データ駆動の調整パrameterに基づく経験的事前分布を構築し、階差定数構造を反映する。
• 解析的取り扱いやすさと効率的な事後計算を保証するため、共役事前分布フレームワークを採用する。
• 経験的ベイズ手順は、データから調整パrameterを選択することで、未知の滑らかさに適応する。
• 非漸近的濃縮不等式と経験過程の道具を用いて、事後濃縮率を導出する。
• 階差定数セグメント間のバイアスと分散のバランスをとることで、最小最大レートを達成する。
• 本手法は、系列内の変化点の数や位置が未知である場合でも、それらの構造的特徴に適応可能であることが示された。

実験結果

リサーチクエスチョン

• RQ1 経験的ベイズアプローチは、階差定数系列モデルにおいて最小最大事後濃縮率を達成できるか？
• RQ2 変化点の数や位置に関する事前の知識がなければ、どのようにして適応的推定を達成できるか？
• RQ3 高次元的構造的モデルにおいて、最適な事後濃縮を達成するための計算的妥当性は何か？
• RQ4 共役事前分布は、最適性と取り扱いやすさのバランスを取るために、経験的ベイズフレームワークで効果的に使用できるか？

主な発見

• 提案された経験的ベイズ手法は、あらゆる滑らかさレベルにおいて、漸近的に最適な事後濃縮率を達成する。
• 本手法は、変化点の数や位置といった未知の構造的特徴に適応する。
• 経験的事前分布の共役形のおかげで、事後計算は効率的である。
• 本手法は、元の階差定数構造に関する事前の知識がなくても、最小最大レートを達成する。
• 理論的分析により、事後分布が最小最大下界と一致する最適レートで収束することが確認された。
• 調整パrameterの選択におけるモデル不適合に対しても、本手法は頑健であることが示された。