[論文レビュー] A likelihood approach to nonparametric estimation of a singular distribution using deep generative models

Minwoo Chae, Dongha Kim+2 more|arXiv (Cornell University)|May 9, 2021

Bayesian Methods and Mixture Models参考文献 76被引用数 13

ひとこと要約

本稿では、高次元空間内の低次元多様体上に支持される特異分布を一貫して推定するための尤度ベースのアプローチを提案する。データの摂動を用いることで、深層生成モデルを用いた非パラメトリック推定が可能となり、最適な収束速度を達成し、次元の呪いを回避する。この手法は、多様体、滑らかな密度、積分布といった構造的分布に対して有効である。

ABSTRACT

We investigate statistical properties of a likelihood approach to nonparametric estimation of a singular distribution using deep generative models. More specifically, a deep generative model is used to model high-dimensional data that are assumed to concentrate around some low-dimensional structure. Estimating the distribution supported on this low-dimensional structure, such as a low-dimensional manifold, is challenging due to its singularity with respect to the Lebesgue measure in the ambient space. In the considered model, a usual likelihood approach can fail to estimate the target distribution consistently due to the singularity. We prove that a novel and effective solution exists by perturbing the data with an instance noise, which leads to consistent estimation of the underlying distribution with desirable convergence rates. We also characterize the class of distributions that can be efficiently estimated via deep generative models. This class is sufficiently general to contain various structured distributions such as product distributions, classically smooth distributions and distributions supported on a low-dimensional manifold. Our analysis provides some insights on how deep generative models can avoid the curse of dimensionality for nonparametric distribution estimation. We conduct a thorough simulation study and real data analysis to empirically demonstrate that the proposed data perturbation technique improves the estimation performance significantly.

研究の動機と目的

• 高次元の環境空間に支持される低次元多様体上に存在する特異分布に対する一貫した非パラメトリック推定の課題に対処すること。
• Lebesgue測度に対するターゲット分布の特異性により、標準的な尤度手法が失敗することを克服すること。
• 非線形要因モデルに加法的ノイズを組み合わせた枠組みにおいて、深層生成モデルを用いた統計的に一貫した推定フレームワークを開発すること。
• 滑らかさ、積構造、多様体構造を持つ分布を含む、深層生成モデルを用いて効率的に推定可能な分布のクラスを同定すること。
• インスタンス固有のノイズを用いたデータ摂動が、最適な収束速度を達成し、分布推定における次元の呪いを回避できることを示すこと。

提案手法

• 高次元観測値を ${\bf X} = {\bf f}({\bf Z}) + \bm{\epsilon}$ とモデル化する。ここで ${\bf f}$ は深層ニューラルネットワーク、${\bf Z}$ は潜在変数、$\bm{\epsilon} \sim \mathcal{N}(0, \sigma^2 I_D)$ である。
• 観測データにインスタンス固有のノイズ摂動を導入することで、特異性を解消し、一貫した最尤推定を可能にする。
• 真の分布 $Q_*$ の推定に、深層ニューラルネットワーク生成子のクラスにおけるシーブ最尤推定器（MLE）を用いる。
• 摂動された尤度アプローチが、真の生成子の滑らかさとノイズレベルに依存する収束速度で $Q_*$ の一貫した推定をもたらすことを証明する。
• 密度の全変動とノイズ分散の観点から、Wasserstein距離 $W_1(Q_*, Q)$ の理論的バウンドを確立する。
• 真の生成子の滑らかさおよび導関数の有界性といった正則性条件の下で、推定誤差の収束速度を導出する。

実験結果

リサーチクエスチョン

• RQ1 高次元空間に支持される低次元多様体上に存在する特異分布を、標準的な尤度アプローチで一貫して推定できるか？
• RQ2 特異なターゲット分布が存在する状況下で、インスタンス固有のノイズを用いたデータ摂動が、深層生成モデルにおける最尤推定の一致性を回復できるか？
• RQ3 提案された摂動フレームワーク下で、深層生成モデルを用いて効率的に推定可能な分布のクラスは何か？
• RQ4 この摂動された尤度アプローチを用いた場合、真の分布を推定するための最適な収束速度は何か？
• RQ5 提案手法は、低次元多様体上での非パラメトリック分布推定において、次元の呪いをどのように回避するか？

主な発見

• 標準的な尤度アプローチは、環境空間におけるLebesgue測度に対する特異性のため、特異分布を一貫して推定できない。
• インスタンス固有のノイズを用いたデータ摂動により、真の分布 $Q_*$ の一貫した推定が可能となり、ややきつい正則性条件のもとで摂動尤度が一貫性を示す。
• 提案手法は、$\beta_*$ と $t_*$ が真の生成子の滑らかさおよび次元パラメータを表すとき、収束速度 $n^{-\frac{\beta_* - t_* \alpha}{2\beta_* + t_*}} (\log n)^{3/2}$ のオーダーを達成する。
• ノイズレベル $\sigma_*$ が最適に選ばれた場合、収束速度は $n^{-\frac{\beta_*}{2(\beta_* + t_*)}} (\log n)^{3/2}$ に達し、与えられた滑らかさ仮定のもとで最適である。
• 推定可能な分布のクラスには、滑らかな密度、積分布、および低次元多様体上に支持される分布が含まれ、広範な適用可能性を示す。
• シミュレーションおよび実データ解析の結果から、提案手法の摂動技術が、標準的な尤度手法に比べて著しく推定性能を向上させることを確認した。