[論文レビュー] Borrowing strength in hierarchical Bayes: convergence of the Dirichlet base measure

XuanLong Nguyen|arXiv (Cornell University)|Jan 4, 2013

Statistical Methods and Inference被引用数 3

ひとこと要約

本稿は、幾何的スパarsity条件の下で輸送距離を用いた階層ディリクレ過程におけるベース測度の収束速度を確立する。複数の群にわたる強みの借用により推定効率が著しく向上し、非パラメトリックな収束レートからパラメトリックなレートへと移行することを示している。

ABSTRACT

This paper studies posterior concentration behavior of the base probability measure $G$ of a Dirichlet measure $\mathcal{D}_{\alpha G}$, given observations associated with $m$ Dirichlet processes sampled from $\mathcal{D}_{\alpha G}$, as $m$ and the number of observations $m imes n$ tend to infinity. The base measure itself is endowed with another Dirichlet prior, a construction known as the hierarchical Dirichlet processes (Teh et al, 2006). Convergence rates are established in transportation distances (i.e. Wasserstein metrics) under various geometrically sparse conditions on the support of the true base measure. As a consequence of the theory we demonstrate the benefit of borrowing strength in the inference of multiple groups of data --- a heuristic argument commonly used to motivate hierarchical modeling. In certain settings, the gain in efficiency due to the latent hierarchy can be dramatic, improving from a standard nonparametric rate to a parametric rate of convergence. Tools developed include transportation distances for nonparametric Bayesian hierarchies of random measures, the existence of tests for Dirichlet measures, and geometric properties of the support of Dirichlet measures.

研究の動機と目的

• データサイズの増大に伴い、階層ディリクレ過程におけるベース測度の事後濃度行動を分析すること。
• 非パラメトリックベイズモデリングにおける「強みの借用」という直感的仮説を、厳密な収束理論を用いて形式化すること。
• 幾何的にスパースなサポート条​​件の下で、ベース測度の Wasserstein 距離における収束速度を確立すること。
• 階層非パラメトリックモデルにおけるランダム測度の階層構造の下で、ディリクレ測度のテスト手法の開発とそのサポートの幾何的性質の分析を図ること。

提案手法

• 階層ディリクレ過程フレームワークにおけるベース測度の収束を測定するために、輸送距離（Wasserstein 距離）を用いる。
• ベース測度 $ G $ にディリクレ事前分布を割り当て、Teh ら (2006) に従い階層ディリクレ過程を構築する。
• 群の数 $ m $ と総観測数 $ m imes n $ が両方とも無限大に近づく際の漸近的挙動を分析する。
• 真のベース測度のサポートに対する幾何的スパarsity条​​件を適用し、収束速度を導出する。
• ディリクル測度のテストの存在やサポート構造の幾何的分析といったツールを用いる。
• 真のベース測度の正則性およびスパarsity仮定の下で理論的収束速度を確立する。

実験結果

リサーチクエスチョン

• RQ1 複数の群からのデータが蓄積するにつれ、階層ディリクレ過程におけるベース測度の事後濃度はどのように振る舞うか？
• RQ2 真のベース測度のサポートにどのような条件が、輸送距離における高速な収束速度を保証するか？
• RQ3 非パラメトリックベイズモデルにおいて、複数の群にわたる強みの借用は推定効率をどの程度向上させるか？
• RQ4 階層構造は、標準的な非パラメトリックレートではなく、パラメトリックレートの収束をもたらす可能性があるか？
• RQ5 非パラメトリックベイズ階層における収束を分析するには、どのような理論的ツールが必要か？

主な発見

• 真のベース測度のサポートに幾何的スパarsity条​​件が成り立つ場合、ベース測度の事後分布は非パラメトリックではなく、パラメトリックな収束速度で収束することがある。
• 階層構造により、複数の群にわたる強みの借用が可能となり、独立した非パラメトリック推定と比較して著しく高速な収束が達成される。
• Wasserstein 距離における収束速度が確立され、階層モデルにおける分布同士の比較に理論的基盤が与えられる。
• ディリクレ測度のテストの存在が証明され、事後濃度の理論的分析を支援する。
• ディリクル測度のサポートの幾何的性質が、収束行動を決定づける重要な役割を果たすことが示された。
• 理論的に「強みの借用」という一般的な直感的仮説を正当化し、有利な設定ではパラメトリックな収束速度が得られることを示した。