[論文レビュー] High-Dimensional Probability Estimation with Deep Density Models

Oren Rippel, Ryan P. Adams|arXiv (Cornell University)|Feb 20, 2013

Generative Adversarial Networks and Image Synthesis被引用数 59

ひとこと要約

この論文は、高次元データから、正確に因子分解され、既知の周辺分布を持つ潜在空間への双射的・可逆的変換を学習する、正規化フローに基づく Deep Density Model (DDM) を提案する。ヤコビ行列式の計算が容易であることを保証することで、分割関数を必要とせず、正確な密度推定が可能となり、尤度の効率的計算、直接サンプリング、半教師あり学習やキャリブレート済みのベイズ分類への応用が可能になる。

ABSTRACT

One of the fundamental problems in machine learning is the estimation of a probability distribution from data. Many techniques have been proposed to study the structure of data, most often building around the assumption that observations lie on a lower-dimensional manifold of high probability. It has been more difficult, however, to exploit this insight to build explicit, tractable density models for high-dimensional data. In this paper, we introduce the deep density model (DDM), a new approach to density estimation. We exploit insights from deep learning to construct a bijective map to a representation space, under which the transformation of the distribution of the data is approximately factorized and has identical and known marginal densities. The simplicity of the latent distribution under the model allows us to feasibly explore it, and the invertibility of the map to characterize contraction of measure across it. This enables us to compute normalized densities for out-of-sample data. This combination of tractability and flexibility allows us to tackle a variety of probabilistic tasks on high-dimensional datasets, including: rapid computation of normalized densities at test-time without evaluating a partition function; generation of samples without MCMC; and characterization of the joint entropy of the data.

研究の動機と目的

• MCMC や分割関数の計算が非効率となるような、高次元データにおける計算可能で正規化された密度推定の課題に取り組む。
• 正規化が不十分な無向モデルや、推論が高コストな有向モデルの制限を克服し、完全に正規化され、計算可能な尤度を提供する。
• 深層学習と微分幾何学の知見を活用して、複雑なデータ分布を単純で因子分解可能な潜在分布に写像する柔軟で可逆的な変換を構築する。
• 良好にキャリブレートされた正規化確率推定を提供することで、生成モデル、半教師あり学習、ベイズ分類における新しい応用を可能にする。
• 学習された潜在表現とその変換特性を通じて、高次元データ分布のエントロピーおよび情報理論的構造を同定する。

提案手法

• 観測データ空間から低次元潜在空間への、深層ニューラルネットワークに基づく双射的変換（可逆写像）を定義する。
• 潜在空間における分布が、既知で計算可能な周辺密度（例：ベータ分布やベルヌーイ分布）でほぼ因子分解されるように変換を最適化する。
• 変数変換の公式を用いて正規化された密度を計算する：$ p_{\mathbf{Y}}(\mathbf{y}) = p_{\mathbf{Z}}(\mathbf{z}) \cdot \left| \det \mathbf{J}_{\mathbf{y} \to \mathbf{z}} \right| $、ここで $ \mathbf{z} = f(\mathbf{y}) $ で $ \mathbf{J} $ は変換のヤコビ行列である。
• 潜在空間における近似的な独立性を実現するために、スパースかつ無相関な表現を促進する多様性化プロセスを導入する。
• 変換の可逆性を活用して、単純な潜在分布からサンプリングし、逆ネットワークを通過させることで、データ分布からの直接的サンプリングを実現する。
• 教師ありおよび半教師あり学習に応用するため、クラス条件付き DDM を学習し、重み付きデータを用いた期待値最大化法を適用することで一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 高次元データを、計算可能で因子分解可能な周辺分布を持つ潜在空間に写像する柔軟で可逆的な深層ネットワークを構築できるか？
• RQ2 分割関数の計算を必要とせず、結果として得られる密度推定が完全に正規化されていることをどのように保証できるか？
• RQ3 学習された潜在表現が、多様体や低次元部分空間などの高次元データの内面的構造をどの程度捉えられるか？
• RQ4 MCMC を必要とせず、正確で効率的な尤度推論と直接的サンプリングを実現できるか？ これにより、確率的モデリングにおける実用的応用が可能か？
• RQ5 DDM から得られる正規化密度をどのように活用して、良好にキャリブレートされたベイズ分類器を構築し、密度に基づく正則化によって半教師あり学習を改善できるか？

主な発見

• DDM は、可逆的深層ネットワークと計算可能なヤコビ行列式を活用することで、分割関数の計算を必要とせず、高次元データにおける正確で正規化された密度推定を実現する。
• MNIST において、モデルの周辺エントロピーは 20.72 と推定され、パラメータ $ p \approx 0.0465 $ のベルヌーイモデルにおける期待値 21.02 に近く、潜在分布近似の正確性が裏付けられた。
• 潜在空間からサンプリングし逆変換を適用することで、MCMC を経由せず、データ分布からの直接的サンプリングが可能であることが、生成されたサンプルの可視化で示された。
• クラス条件付き DDM を用いたベイズ分類器は、他クラスの例に対して低密度をペナルティ付けることで、テスト誤差率 1.614% を達成し、直接混合モデル（9.5% の誤差）を著しく上回った。
• 信頼性の高い予測（テストデータの約 95%）において、DDM ベースの分類器は 0.45% の低誤差率を示し、良好にキャリブレートされた不確実性推定を示した。
• 潜在空間における密度推定を活用することで、重み付きデータを用いた期待値最大化法により、未ラベルデータを活用した混合モデルの学習が可能となり、半教師あり学習が実現された。