[論文レビュー] Minimax Optimal Bayesian Aggregation

Yun Yang, David B. Dunson|arXiv (Cornell University)|Mar 6, 2014

Advanced Statistical Methods and Models参考文献 23被引用数 16

ひとこと要約

本稿では、回帰における推定子の凸結合および線形結合に、ディリクレ事前分布を用いたミニマックス最適なベイズ的集約手法を提案する。M-クローズドおよびM-オープンな設定下でも、最適な事後濃縮率を達成する。本手法は調整パラメータを必要とせず、スパarsityに適応可能であり、真のモデルがモデル空間の外にある場合でも、ミニマックスレートで最良の近似を一貫して標的にする。

ABSTRACT

It is generally believed that ensemble approaches, which combine multiple algorithms or models, can outperform any single algorithm at machine learning tasks, such as prediction. In this paper, we propose Bayesian convex and linear aggregation approaches motivated by regression applications. We show that the proposed approach is minimax optimal when the true data-generating model is a convex or linear combination of models in the list. Moreover, the method can adapt to sparsity structure in which certain models should receive zero weights, and the method is tuning parameter free unlike competitors. More generally, under an M-open view when the truth falls outside the space of all convex/linear combinations, our theory suggests that the posterior measure tends to concentrate on the best approximation of the truth at the minimax rate. We illustrate the method through simulation studies and several applications.

研究の動機と目的

• M-クローズドおよびM-オープンな設定下で、事後濃縮率のミニマックス最適レートを達成するベイズ的集約フレームワークの構築を目的とする。
• 従来のベイズ的モデル平均化の限界を克服し、調整パラメータに依存しないようにし、モデル重みのスパarsityへの自動適応を可能にする。
• 真のデータ生成モデルが凸または線形包の外にある場合でも、理論的裏付けに基づいた調整パラメータフリーな手法を提供し、真のモデルに適応する。
• スパースな設定への拡張を目的とし、重みが非ゼロとなるモデルのサブセットのみを重み付けする。スパarsityレベルはデータから学習される。

提案手法

• 重みベクトル λ に対してディリクレ集約（DA）事前分布を提案。ここで λ_j = T_j / (T_1 + ... + T_M) であり、T_j ~ Gamma(ρ, 1) とする。これにより、効率的なMCMCサンプリングが可能となる。
• φ（精度）のためのギブスサンプリングと、log T_j のためのメトロポリス・フاستリング更新を組み合わせたブロックMCMCアルゴリズムを用いる。これにより、重みの事後分布を探索する。
• 線形集約のため、潜在変数 z_j ~ Bernoulli(0.5) および A ~ Gamma(c_0, d_0) を導入し、λ_j の符号およびスケーリングを調整可能にする。
• A および z_j のためのMH更新を実装し、スパース選択を可能にする。ここで z_j はモデル j の包含／非包含を制御する。
• 効率的なMCMC更新のため、対数尤度、対数事前分布、対数遷移確率の項を組み合わせた対数受容率を用いる。
• 本手法は、自動的にスパarsity（||λ||_0 = s）を学習し、ユーザーが指定する調整パラメータなしにミニマックス最適な事後濃縮率を達成するように設計されている。

実験結果

リサーチクエスチョン

• RQ1 真のモデルが候補モデルの凸結合または線形結合である場合、ベイズ的集約手法がミニマックス最適な事後濃縮率を達成できるか？
• RQ2 真のモデルが候補モデルの凸包や線形包の外にある場合（Mオープン設定）に、提案手法はどのように動作するか？
• RQ3 スパarsityのレベルを事前に指定せずに、モデル重みのスパarsityに適応できるか？
• RQ4 調整パラメータフリーである一方で、最適な頻度的リスクレートを達成できるか？

主な発見

• 提案されたディリクレ集約手法は、M-クローズドおよびM-オープンな設定下で、凸集約および線形集約空間においてミニマックス最適な事後濃縮率を達成する。
• Mオープン設定下では、真のモデルがモデル空間に存在しない場合でも、最良の近似がミニマックスレートで事後分布に集中する。
• 未知のスパarsityレベルに自動的に適応し、不要なモデルに対してはゼロの重みを割り当てる。調整パラメータは不要である。
• 理論的解析により、事後測度が真のモデルのミニマックス最適近似に収束することが確認され、ユーザーが指定するハイパーパrameterは不要である。
• シミュレーションスタディおよび実応用を通じて、本手法のロバストネスと、既存の集約手法に比べて優れた性能が示された。
• MCMC実装は効率的かつ安定しており、MH更新における適応的スケーリングにより、受容率が約40％を維持している。