[論文レビュー] Empirical priors and posterior concentration in a piecewise polynomial sequence model

Chang Liu, Ryan R. Martin+1 more|arXiv (Cornell University)|Dec 11, 2017

Statistical Methods and Inference参考文献 36被引用数 9

ひとこと要約

本稿では、最小最大後解釈率の適応的達成と構造学習の両立を実現する、区分的多項式系列モデルに対する経験的ベイズ手法を提案する。データ駆動の推定値を中心に据えた共役経験的事前分布を用いることで、トレンドフィルタリングや他の手法と比較して、信号推定およびブロック分割回復において高速な計算と優れた有限標本性能を達成する。

ABSTRACT

Inference on high-dimensional parameters in structured linear models is an important statistical problem. This paper focuses on the case of a piecewise polynomial Gaussian sequence model, and we develop a new empirical Bayes solution that enjoys adaptive minimax posterior concentration rates and improved structure learning properties compared to existing methods. Moreover, thanks to the conjugate form of the empirical prior, posterior computations are fast and easy. Numerical examples also highlight the method's strong finite-sample performance compared to existing methods across a range of different scenarios.

研究の動機と目的

• 区分的多項式ガウス系列モデルにおける、後解釈の適応的集中と構造回復のためのベイズ手法の不足を補う。
• 未知のブロック構成および多項式次数に適応する計算効率の良い経験的事前分布を構築する。
• 従来の手法よりも弱い条件下でも、後解釈集中と構造学習の理論的保証を確立する。
• トレンドフィルタリングのような正則化に基づく手法と比較して、信号推定および変化点検出における有限標本性能を向上させる。

提案手法

• 本手法は、多項式係数のデータ駆動推定値を中心に据えた経験的事前分布を採用し、固定された中心化なしに事前分布の適応性を向上させる。
• 計算効率を高めるために共役事前分布を用い、閉形式の更新により高速かつ正確な後解釈計算を可能にする。
• 階層ベイズモデルを用いて、ブロック構成と多項式係数にデータ依存のハイパーパラメータを割り当て、事前分布を構築する。
• 後解釈集中の分析には、エントロピーと検定の組み合わせを用い、設計行列の固有値制御を通じて境界を導出する。
• 後解釈集中が真のブロック構成 $B^*$ に収束することを示すことで、構造学習の一貫性を確立する。
• 理論的分析では、$K$ 階差分作用素 $\Delta^K$ を用いて、スパース係数表現として区分的多項式信号を表現する。

実験結果

リサーチクエスチョン

• RQ1 経験的ベイズアプローチは、区分的多項式系列モデルにおいて、適応的後解釈集中率を達成できるか？
• RQ2 提案手法は、高次元設定下でも真のブロック構成 $B^*$ の一貫した回復を可能にするか？
• RQ3 有限標本において、経験的事前分布はトレンドフィルタリングと比較してどのように性能を発揮するか？
• RQ4 共役事前分布は、スパースでないが構造的なモデル（例えば区分的多項式）において効果的に使用できるか？
• RQ5 このモデルクラスにおいて、後解釈集中と構造学習に必要な条件は何か？

主な発見

• 経験的ベイズ後解釈は、対数要因を除いてトレンドフィルタリングの最適レートに達する適応的最小最大後解釈集中率を達成する。
• Guntuboyina ら（2020）が要請するよりも弱い条件下でも後解釈集中が確立され、特に強いスパarsity仮定や最小長さ仮定を回避する。
• 構造学習の一貫性が証明された：$n \to \infty$ のとき、真のブロック構成 $B^*$ の後解釈確率は 1 に収束する。
• 信号推定および変化点検出において、多様なシミュレーション設定でトレンドフィルタリングを上回る優れた有限標本性能を達成する。
• 経験的事前分布の共役形態により、高速かつ正確な後解釈計算が可能となり、実世界の応用にスケーラブルで実用的である。
• 理論的境界は、設計行列の固有値制御に依存し、$\lambda_{\min}(X_S^T X_S) \geq \gamma/4$ の不等式で表される。ここで $\gamma$ はブロック境界間の最小ギャップである。