[論文レビュー] A General Framework for Bayes Structured Linear Models

Chao Gao, Aad van der Vaart+1 more|arXiv (Cornell University)|Jun 6, 2015

Statistical Methods and Inference参考文献 45被引用数 26

ひとこと要約

本稿は、楕円ラプラス分布を介した構造的パラメータの2段階事前分布を用いる、高次元および非パラメトリックモデルの統一ベイズ枠組みを提案する。モデル不適合下でも一般化されたオラクル不等式とレート最適の事後分布収縮を確立し、スパース回帰、確率的ブロックモデル、グラフォン推定、辞書学習において、先行研究より弱い仮定のもとで最適な結果を得られる。

ABSTRACT

High dimensional statistics deals with the challenge of extracting structured information from complex model settings. Compared with the growing number of frequentist methodologies, there are rather few theoretically optimal Bayes methods that can deal with very general high dimensional models. In contrast, Bayes methods have been extensively studied in various nonparametric settings and rate optimal posterior contraction results have been established. This paper provides a unified approach to both Bayes high dimensional statistics and Bayes nonparametrics in a general framework of structured linear models. With the proposed two-step model selection prior, we prove a general theorem of posterior contraction under an abstract setting. The main theorem can be used to derive new results on optimal posterior contraction under many complex model settings including stochastic block model, graphon estimation and dictionary learning. It can also be used to re-derive optimal posterior contraction for problems such as sparse linear regression and nonparametric aggregation, which improve upon previous Bayes results for these problems. The key of the success lies in the proposed two-step prior distribution. The prior on the parameters is an elliptical Laplace distribution that is capable to model signals with large magnitude, and the prior on the models involves an important correction factor that compensates the effect of the normalizing constant of the elliptical Laplace distribution.

研究の動機と目的

• 高次元および非パラメトリックモデルの一般化されたベイズ理論を構築し、既存の手法を統合すること。
• 頻度的アプローチに比べて理論的に最適なベイズ手法が高次元統計において不足している問題を解決すること。
• スパイクアンドスラブや独立ラプラス事前分布といった既存の事前分布の制限を克服し、より柔軟かつ構造的な事前分布を導入すること。
• モデル不適合下でも、最適な収縮率を達成する事後分布収縮を実現することにより、適合モデルに限らない応用範囲を拡大すること。
• スパース線形回帰、確率的ブロックモデル、グラフォン、辞書学習といった多様なモデルの結果を統一すること。

提案手法

• 2段階事前分布を提案：まずモデル構造（例：スパースパターンやブロック構造）をモデル化し、次にパラメータを楕円ラプラス分布でモデル化する。
• 大振幅の信号と重たい尾を持つ信号に対応するため、パラメータに楕円ラプラス事前分布を用いることで、耐性性を向上させる。
• モデル選択事前分布に補正因子を導入し、楕円ラプラス分布の正規化定数を補償することで、最適な収縮率を保証する。
• 任意のモデル不適合を許容する一般化された事後分布収縮のためのオラクル不等式を導出する。
• 10種類の多様なモデル（非パラメトリックな集合やウェーブレット推定を含む）にこの枠組みを適用し、最適な事後分布収縮率を導出する。
• 濃度不等式と尾確率のバウンドを用いて、事後分布の尾確率を制御し、収束速度を導出する。

実験結果

リサーチクエスチョン

• RQ1 1つのベイズ枠組みが、多様な高次元および非パラメトリックモデルにおいて最適な事後分布収縮を達成できるか？
• RQ2 2段階事前分布構造は、スパイクアンドスラブや独立ラプラス事前分布に比べて、どのように事後分布収縮率を改善するか？
• RQ3 パラメータ事前分布の正規化定数が非自明な場合、モデル選択事前分布における補正因子が、収縮率の最適性を達成するために果たす役割は何か？
• RQ4 一般化されたオラクル不等式は、モデル不適合をどれだけ許容しつつも、最適な事後分布収縮を保証できるか？
• RQ5 スパース回帰、確率的ブロックモデル、辞書学習といった見かけ上異なるモデルの結果を、この枠組みがどれほど統一できるか？

主な発見

• 提案された2段階事前分布は、独立ラプラス事前分布を用いた先行研究よりも弱い仮定のもとで、スパース線形回帰において最適な収縮率を達成する。
• この枠組みは、確率的ブロックモデル、バイクラスタリング、グループスパース回帰、マルチタスク学習において、正確なミニマックス事後分布収縮率を達成する。
• Besov空間における非パラメトリックグラフォン推定および集合推定において、一般化されたオラクル不等式により、モデル不適合下でも最適な事後分布収縮が可能になる。
• モデル選択事前分布における補正因子は不可欠である：楕円ラプラス分布の正規化定数が非自明なため、補正因子がなければ事後分布収縮率は非最適となる。
• 一般化されたオラクル不等式により、構造的線形モデル枠組みに厳密に従わないモデル、例えば近似的なスパarsityやウェーブレット推定においても、最適な事後分布収縮率を導出可能である。
• 理論的結果は10の多様な例において検証され、提案された枠組みの広範な適用可能性と頑健性が示された。