[論文レビュー] PSD Representations for Effective Probability Models

Alessandro Rudi, Carlo Ciliberto|arXiv (Cornell University)|Jun 30, 2021

Statistical Methods and Inference参考文献 30被引用数 4

ひとこと要約

本稿は、同時に最適近似および学習レートを達成し、行列演算による閉形式の和則・積則計算を可能にするとともに非負性を保つという、確率密度推定のための新規な正定値（PSD）モデルを導入する。これにより、従来の混合モデルや指数型分布族のようなモデルで見られる表現力と計算効率のトレードオフを克服する。

ABSTRACT

Finding a good way to model probability densities is key to probabilistic inference. An ideal model should be able to concisely approximate any probability while being also compatible with two main operations: multiplications of two models (product rule) and marginalization with respect to a subset of the random variables (sum rule). In this work, we show that a recently proposed class of positive semi-definite (PSD) models for non-negative functions is particularly suited to this end. In particular, we characterize both approximation and generalization capabilities of PSD models, showing that they enjoy strong theoretical guarantees. Moreover, we show that we can perform efficiently both sum and product rule in closed form via matrix operations, enjoying the same versatility of mixture models. Our results open the way to applications of PSD models to density estimation, decision theory and inference.

研究の動機と目的

• 確率的モデリングにおける表現力と計算効率の間の長年のトレードオフを解消すること。
• 複雑な確率密度を簡潔に近似できるモデルクラスを開発し、周辺化や積則といった正確で効率的な演算をサポートすること。
• PSDモデルにおける近似および一般化に関する理論的保証を確立すること。
• 精度を損なわずにモデルの複雑さを制御できる圧縮機構を提供すること。

提案手法

• 本稿は、負の重みを許容しつつも結果関数の非負性を保つことで混合モデルを一般化する最近提案された正定値（PSD）モデルのクラスを採用する。
• 滑らかさクラスに基づく密度の近似および学習特性を特徴づけ、$ \mathbb{R}^d $ 上で $ \beta $ 回微分可能な密度に対して、$ n^{-\beta/(2\beta+d)} $ のオーダーでミニマックス最適な学習レートを示す。
• 和則および積則を閉形式の行列演算として定式化する：周辺化は行列トレースおよびシュール積を用い、乗算はテンソル積およびシュール積を用いる。
• PSDカーネル行列の低ランク近似に基づく圧縮法を導入し、成分数の制御を可能にしつつ精度を維持する。
• すべての演算（観測、遷移、周辺化、正規化）を行列代数を用いて閉形式で実行できるため、隠れマルコフモデル（HMM）などの推論タスクにフレームワークを適用する。
• 理論的導出により、すべての演算がPSDモデル構造を保つことが示され、一貫したパrameterizationのもとで再帰的推論が可能になる。

実験結果

リサーチクエスチョン

• RQ1 PSDモデルは、密度推定における最適な学習レートを達成しつつ、確率的演算における計算効率を維持できるか？
• RQ2 PSDモデルは、混合モデルや指数型分布族と比較して、近似力および計算の実行可能性において優れているか？
• RQ3 PSDフレームワーク内での和則および積則が、正確かつ効率的に閉形式で実行可能か？
• RQ4 ターゲット密度の滑らかさと、PSDモデルに必要な成分数との理論的関係は何か？
• RQ5 PSDモデルは、一般性や効率性を損なわず、HMMのような逐次的推論タスクに効果的に適用可能か？

主な発見

• PSDモデルは、$ \beta $ 回微分可能な密度に対して、$ n^{-\beta/(2\beta+d)} $ のオーダーでミニマックス最適な学習レートを達成し、$ \beta \geq d $ のとき次元の呪いを克服する。
• シュール積やトレース演算を含む行列演算により、和則および積則を正確かつ効率的に実行でき、閉形式推論を可能にする。
• PSDモデルは、任意の非負で滑らかな密度を $ m = O(\varepsilon^{-d/\beta}) $ 個の成分で近似可能であり、コンパクトな表現が可能になる。
• HMMにおける再帰的ベイズ推論が、すべてのステップ（観測、遷移、周辺化、正規化）を行列代数を用いて閉形式で計算可能になる。
• 低ランク近似に基づく圧縮法により、モデルの複雑さを制御しつつ、近似精度および理論的保証を維持できる。
• 負の重みを許容する線形結合であっても、PSDモデルは常に有効な確率密度（至る所で非負）を保つため、従来の混合モデルの主要な制限を解消する。