[論文レビュー] Posterior convergence rates in non-linear latent variable models

Debdeep Pati, Anirban Bhattacharya+1 more|arXiv (Cornell University)|Sep 23, 2011

Bayesian Methods and Mixture Models参考文献 16被引用数 3

ひとこと要約

本稿は、潜在一様変数がガウス誤差を伴う確率的非線形関数により変換される1変量密度推定における非線形潜在変数モデルの事後分布収縮速度を確立する。回帰関数にガウス過程事前分布を用いることで、標準的な滑らかさ条件の下で、対数要因を除き最適な頻度的レートを達成する。これは、離散混合モデルに限られていた事後分布収縮理論を連続混合測度へと拡張するものである。

ABSTRACT

Non-linear latent variable models have become increasingly popular in a variety of applications. However, there has been little study on theoretical properties of these models. In this article, we study rates of posterior contraction in univariate density estimation for a class of non-linear latent variable models where unobserved U(0,1) latent variables are related to the response variables via a random non-linear regression with an additive error. Our approach relies on characterizing the space of densities induced by the above model as kernel convolutions with a general class of continuous mixing measures. The literature on posterior rates of contraction in density estimation almost entirely focuses on finite or countably infinite mixture models. We develop approximation results for our class of continuous mixing measures. Using an appropriate Gaussian process prior on the unknown regression function, we obtain the optimal frequentist rate up to a logarithmic factor under standard regularity conditions on the true density.

研究の動機と目的

• 非線形潜在変数モデルの理論的性質、特に密度推定における事後分布収縮速度の研究。
• 従来、有限または可算無限混合モデルに限られていた事後分布収縮理論を、連続混合測度へと拡張すること。
• 観察されないU(0,1)潜在変数と加法的ガウスノイズを伴う非線形潜在変数モデルのクラスに対して、最適な事後分布収縮速度を確立すること。
• 理論的分析を支援するための連続混合測度の近似結果の開発。
• 非線形回帰関数にガウス過程事前分布を適用することで、最適な頻度的レートが対数要因を除き達成されることを示すこと。

提案手法

• 応答変数を、潜在U(0,1)変数の非線形関数として定式化し、加法的ガウス誤差を含めることで、連続混合測度とのカーネル畳み込みを形成する。
• 誘導される密度空間をカーネルと連続混合測度の畳み込みとして特徴づけ、離散混合モデルを超える解析を可能にする。
• 未知の回帰関数にガウス過程事前分布を用いることで、混合測度に事前分布を誘導し、滑らかさを保証する。
• 真の密度と推定密度の距離を制御するため、連続混合測度のクラスに対する近似結果を確立する。
• 標準的な正則性条件の下で、エントロピーおよび検定論法を含む事後分布収縮理論の技術を適用する。
• ガウス過程の尾確率およびエントロピー積分法を用いて、事後濃度の境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 連続混合測度を伴う非線形潜在変数モデルにおいて、事後分布が真の密度の周りにどの程度の速度で収縮するか？
• RQ2 このようなモデルの事後分布収縮速度は、対数要因を除き最適な頻度的レートに達することができるか？
• RQ3 非線形回帰関数にガウス過程事前分布を適用すると、この非線形潜在変数フレームワークにおける事後濃度にどのような影響を与えるか？
• RQ4 密度推定の文脈において、連続混合測度がどのような近似特性を有するか？
• RQ5 有限または無限の離散混合モデルに内在するクラスタリングアーティファクトを避けるために、このモデルはどのようにして理論的最適性を維持するか？

主な発見

• 標準的な滑らかさおよび正則性条件の下で、事後分布収縮速度は対数要因を除き最適な頻度的レートに達する。
• 非線形回帰関数にガウス過程事前分布を用いることで、潜在U(0,1)変数から観察応答へ写像する関数を推定し、最適なレートを達成する。
• 著者らは、連続混合測度のための新規な近似結果を開発し、事後分布収縮理論を離散混合モデルを超えて拡張した。
• 連続的な潜在空間を用いることで、有限または無限の離散混合モデルに一般的に見られるクラスタリングアーティファクトを回避する。
• エントロピー積分および尾確率技術を用いて、事後濃度の境界を導出し、事後分布が望ましい速度で収縮することを示した。
• 真の密度が十分に滑らかで、ハイパーパrameterが適切に選ばれている場合、事後分布は真の密度の近傍に最適な速度（対数要因を除き）で集中する。