[論文レビュー] The Kernel Mixture Network: A Nonparametric Method for Conditional Density Estimation of Continuous Random Variables

Luca Ambrogioni, Umut Güçlü+2 more|arXiv (Cornell University)|May 19, 2017

Human Pose and Action Recognition参考文献 2被引用数 15

ひとこと要約

カーネル混合ネットワーク（KMN）は、トレーニングデータポイントを中心とするカーネル関数の重み付き和として密度をモデル化する、非パラメトリックな条件付き密度推定手法であり、深層ニューラルネットワークを用いる。これは離散化されたソフトマックスとは異なり、離散化やパラメトリックな仮定に依存せず、高い尤度、過学習の低減、より現実的で多様なサンプルを達成することで、ベイズフィルタリングおよび生成モデル化において、定量化ソフトマックスを上回る性能を発揮する。

ABSTRACT

This paper introduces the kernel mixture network, a new method for nonparametric estimation of conditional probability densities using neural networks. We model arbitrarily complex conditional densities as linear combinations of a family of kernel functions centered at a subset of training points. The weights are determined by the outer layer of a deep neural network, trained by minimizing the negative log likelihood. This generalizes the popular quantized softmax approach, which can be seen as a kernel mixture network with square and non-overlapping kernels. We test the performance of our method on two important applications, namely Bayesian filtering and generative modeling. In the Bayesian filtering example, we show that the method can be used to filter complex nonlinear and non-Gaussian signals defined on manifolds. The resulting kernel mixture network filter outperforms both the quantized softmax filter and the extended Kalman filter in terms of model likelihood. Finally, our experiments on generative models show that, given the same architecture, the kernel mixture network leads to higher test set likelihood, less overfitting and more diversified and realistic generated samples than the quantized softmax approach.

研究の動機と目的

• 離散化されたソフトマックスの柔軟性を保ちつつ、実数値変数の連続的構造を効果的に活用できる、非パラメトリックな条件付き密度推定手法の開発。
• 深層学習ベースの密度推定における離散化の限界、例えば疎な勾配や一般化性能の低さを克服すること。
• マニフォールド上（例：ベイズフィルタリングや生成モデル化における）で複雑で非ガウス的かつ非線形な条件付き密度を正確にモデル化できること。
• 同一アーキテクチャ下で、定量化ソフトマックスと比較して尤度、多様性、現実性の面で優れた性能を示すこと。

提案手法

• KMNは、トレーニングデータポイントのサブセットを中心とするカーネル関数の線形結合として条件付き密度をモデル化し、重みは深層ニューラルネットワークの出力で決定される。
• カーネル関数は固定され、学習対象としない。損失関数には負の対数尤度を用い、標準的な勾配降下法を適用する。
• 離散的なビンではなく連続的カーネル関数を用いることで、定量化ソフトマックスの一般化を図り、滑らかな勾配伝搬と入力のトポロジーのより良い活用を実現する。
• マニフォールド構造を持つ出力（例：周期的な位相データ）に対しては、周期的条件付き密度をモデル化するため、ボン・ミーゼスカーネルが用いられる。
• 生成モデルでは、KMNはLSTM-PCAアーキテクチャに統合され、上位の分散成分を条件として各主成分の条件付き密度をモデル化する。
• このアプローチは、フィルタリングに適したCNNや、逐次的生成に適したLSTMなど、さまざまなアーキテクチャと互換性があり、拡散カーネルを用いることでグラフへの応用も可能となる。

実験結果

リサーチクエスチョン

• RQ1 カーネル混合を用いた非パラメトリックで連続的な密度推定手法は、条件付き密度推定において離散化された定量化に比べて優れるか？
• RQ2 KMNは、マニフォールド上（例：単位円上）の非線形的かつ非ガウス的後方分布を効果的にモデル化できるか？
• RQ3 生成モデルにおいて、KMNは定量化ソフトマックスと比較して、より高い尤度、より少ない過学習、およびより多様で現実的なサンプルを生成できるか？
• RQ4 非線形的かつ非ガウス的信号推定において、KMNの性能は拡張カルマンフィルターや定量化ソフトマックスフィルターよりも優れているか？

主な発見

• 非線形的かつ非ガウス的動的システムにおけるベイズフィルタリングにおいて、KMNフィルタは定量化ソフトマックスフィルターや拡張カルマンフィルターよりも顕著に高いモデル尤度を達成した。
• KMNフィルタは、単位円上での複雑で非ガウス的な後方分布を的確に追跡でき、初期の不確実性から速やかに正確な位相推定に収束した。
• グレースケール顔生成において、KMNモデルは100エポック経過後でも過学習が観察されず、定量化ソフトマックスモデルよりも低いテストセット負の対数尤度を達成した。
• カラー顔生成において、KMNモデルはより低いテスト損失を維持し、定量化ソフトマックスモデルよりもシャープでぼやけにくく、多様性に富んだ顔を生成した。
• KMNで生成された顔は、アーチファクトが少なく、特に50エポック目で過学習したソフトマックスモデルと比較して、より視覚的に現実的であった。
• KMNアプローチは、グレースケールおよびカラー実験の両方において、安定したテスト損失曲線と一般化性能の向上により、定量化ソフトマックスベースラインと比較して過学習が低減されたことが裏付けられた。