[論文レビュー] Kernel Exponential Family Estimation via Doubly Dual Embedding

Bo Dai, Hanjun Dai+4 more|arXiv (Cornell University)|Nov 6, 2018

Statistical Methods and Inference参考文献 38被引用数 3

ひとこと要約

本稿では、核指数型分布族推定のための新規手法、二重双対埋め込み（DDE）を提案する。この手法は、二重双対埋め込みによる鞍点定式化を活用することで、計算が困難な正規化定数の計算やモンテカルロサンプリングを回避する。本手法は、記憶容量と実行時間の効率性が向上し、統計的収束速度が強く、推論が高速化される。これは、並列に柔軟で取り扱いやすいサンプリング分布を学習することで達成される。

ABSTRACT

We investigate penalized maximum log-likelihood estimation for exponential family distributions whose natural parameter resides in a reproducing kernel Hilbert space. Key to our approach is a novel technique, doubly dual embedding, that avoids computation of the partition function. This technique also allows the development of a flexible sampling strategy that amortizes the cost of Monte-Carlo sampling in the inference stage. The resulting estimator can be easily generalized to kernel conditional exponential families. We establish a connection between kernel exponential family estimation and MMD-GANs, revealing a new perspective for understanding GANs. Compared to the score matching based estimators, the proposed method improves both memory and time efficiency while enjoying stronger statistical properties, such as fully capturing smoothness in its statistical convergence rate while the score matching estimator appears to saturate. Finally, we show that the proposed estimator empirically outperforms state-of-the-art

研究の動機と目的

• 無限次元指数型分布族推定における正規化定数評価およびモンテカルロサンプリングの計算的非可解性に対処すること。
• 特に高次元設定において顕著な記憶容量および実行時間のコストを有するスコアマッチング推定器の課題を克服すること。
• カーネルの導関数計算を回避しつつ統計的一貫性を維持する正則化最大尤度推定フレームワークの構築。
• 密度関数と並行してパラメトリックなサンプリング分布を学習することで、核指数型分布族推定と生成モデルの統合。
• 真の密度が核指数型分布族に属するというwell-specifiedな状況下での一貫性およびアルゴリズム収束に関する理論的保証の確立。

提案手法

• 正則化最大尤度推定を鞍点問題に再定式化するための新規な二重双対埋め込み技術を導入し、計算が困難な正規化定数の計算を回避する。
• Fenchel双対性を用いた指数型分布族密度の双対表現を採用し、密度の明示的評価なしに双対空間上で最適化を実行可能にする。
• プライマルおよび双対パラメータの交互更新を繰り返す確率的最適化アルゴリズムを導出することで、モンテカルロサンプリングを伴わずに効率的な学習を実現する。
• 同時に、柔軟でパラメトリックなサンプリング分布を学習し、推論コストをアモアタイズ化することで、テスト時におけるHMCやMCMCの必要性を排除する。
• 最適化プロセスの安定性と収束性を保証するため、双対空間にTikhonov正則化項を導入する。
• 入力依存の自然パラメータを持つ核指数型分布族として条件付き密度をモデル化することで、条件付き指数型分布族への拡張を実現する。

実験結果

リサーチクエスチョン

• RQ1 双対定式化を用いることで、無限次元指数型分布族推定における正規化定数の計算を回避できるか？
• RQ2 統計的精度を維持しつつ、推論においてモンテカルロサンプリングの必要性を排除できるか？
• RQ3 滑らかな密度推定において、本手法がスコアマッチングより優れた統計的収束速度を達成できるか？
• RQ4 学習された双対パラメータを用いて、取り扱いやすく効率的なサンプリング分布を構築できるか？
• RQ5 記憶容量、実行時間、統計的性能の観点から、最先端のスコアマッチングおよびMLEベースの手法と比較して、本手法はどのように差をつけるか？

主な発見

• 合成データセットにおいて、DDE推定器はKEFおよびKEF+HMCと比較してMMDが最大10倍低く、推論時間も短い。
• ベンチマーク条件付き密度推定タスクにおいて、DDEは12のデータセットのうち6つでKCEF（スコアマッチングベース）を上回り、負の対数尤度が低く抑えられている。これは、単純な等方的RBFカーネルを用いても同様に成立する。
• スコアマッチングにおける時間計算量O(n³d³)を、Nyström近似を用いることでO(nmd²)に削減し、導関数計算も回避する。
• DDE推定器は滑らかさを完全に捉える高速な収束速度を達成するが、スコアマッチングは収束が飽和しているように見える。
• 学習されたサンプリング分布により、HMCを用いる必要がなくなり、推論時間が桁違いに短縮される。これは表1で示されている。
• 理論的分析により、真の密度が核指数型分布族に属するwell-specifiedな仮定下で、一貫性およびアルゴリズム収束が保証されている。