[論文レビュー] Expected Information Maximization: Using the I-Projection for Mixture Density Estimation

Philipp Becker, Oleg Arenz+1 more|arXiv (Cornell University)|Jan 23, 2020

Anomaly Detection Techniques and Applications参考文献 26被引用数 6

ひとこと要約

この論文は、データサンプルのみを用いて混合モデル上へのI-射影を計算するための新規アルゴリズムである期待情報最大化（EIM）を導入する。変分上界とディスクリミネータベースの密度比推定器を活用することで、最尤推定（M-射影）のモード平均化問題を回避し、より高精度な多モードデータのモデリングを可能にする。Pedestrianや交通予測タスクにおいて、EM法やGANベースの手法と比較して優れた性能を示した。

ABSTRACT

Modelling highly multi-modal data is a challenging problem in machine learning. Most algorithms are based on maximizing the likelihood, which corresponds to the M(oment)-projection of the data distribution to the model distribution. The M-projection forces the model to average over modes it cannot represent. In contrast, the I(information)-projection ignores such modes in the data and concentrates on the modes the model can represent. Such behavior is appealing whenever we deal with highly multi-modal data where modelling single modes correctly is more important than covering all the modes. Despite this advantage, the I-projection is rarely used in practice due to the lack of algorithms that can efficiently optimize it based on data. In this work, we present a new algorithm called Expected Information Maximization (EIM) for computing the I-projection solely based on samples for general latent variable models, where we focus on Gaussian mixtures models and Gaussian mixtures of experts. Our approach applies a variational upper bound to the I-projection objective which decomposes the original objective into single objectives for each mixture component as well as for the coefficients, allowing an efficient optimization. Similar to GANs, our approach employs discriminators but uses a more stable optimization procedure, using a tight upper bound. We show that our algorithm is much more effective in computing the I-projection than recent GAN approaches and we illustrate the effectiveness of our approach for modelling multi-modal behavior on two pedestrian and traffic prediction datasets.

研究の動機と目的

• 最尤推定の多モーダル密度モデリングにおける限界、すなわちM-射影が表現できないモードを平均化してしまう問題を解決すること。
• モデルが表現可能なモードに焦点を当て、他のモードを無視するI-射影を計算する実用的なアルゴリズムを開発すること。
• 明示的な密度関数を必要とせず、データサンプルのみを用いて一般の潜在変数モデルにおけるI-射影推定を可能にすること。
• ロボット工学や自律走行システムにおける複雑な多モーダル行動、例えば歩行者や交通予測のモデリングを改善すること。
• GANの代替として安定的で、収束性とサンプル品質に優れたI-射影最適化のサンプルベースの代替手法を提供すること。

提案手法

• I-射影目的関数に対する変分上界を提案し、それを成分ごとの最適化と係数ごとの最適化に分解する。
• 二値交差エントロピーを用いて訓練されたディスクリミネータを用いて、密度比 q(x)/p(x) を推定し、サンプルに基づくI-射影計算を可能にする。
• GMM（ガウス・ミックス・モデル）およびエキスパートのための条件付きGMMにI-射影を適用し、成分を深層ニューラルネットワークでパラメータ化する。
• 安定した最適化を可能にするタイトな上界を導入し、EMに類似した構造を持つが、M-射影ではなくI-射影を目的とする。
• 道路マスクなどの追加の識別的特徴を用いて、モデルの現実性と一般化性能を向上させる。
• 確率的勾配降下法を用いて上界を最適化し、ディスクリミネータがモデルの改善に向けた勾配信号を提供する。

実験結果

リサーチクエスチョン

• RQ1 明示的な密度関数が不要な状況でも、データサンプルのみからI-射影を効果的に計算できるか？
• RQ2 多モーダル行動のモデリングにおいて、I-射影に基づく学習は最尤推定（M-射影）と比べてどのように異なるか？
• RQ3 GANに類似したディスクリミネータベースのアプローチを、I-射影最適化において安定的かつ効果的に実装できるか？
• RQ4 EIMは、実世界のデータセットにおいて、GANやEM法よりもリアルで多モーダルな密度推定を学習できるか？
• RQ5 追加の特徴（例：空間マスク）を用いることで、I-射影モデルが生成するサンプルの現実性が向上するか？

主な発見

• EIMは、スタンフォードドローンデータセットおよび次世代シミュレーションデータセットの両方で、異なる目的関数を最適化してもEM法よりも顕著に高いテスト対数尤度を達成した。
• NGSデータセットでは、EIMがマスク違反評価においてEMを上回り、道路外のサンプルをより少ない数で生成しており、より現実的な性能を示した。
• SDDデータセットでは、追加のマスク特徴を用いたEIMが、現実性評価においてEMを上回り、事前知識を組み込む利点を示した。
• EIMは、少数の成分でも障害物回避タスクにおける複数のモードを的確に特定・モデリングできたが、EMはすべてのモードを捉えられなかった。
• EIMはモード平均化問題を回避し、EMが衝突を避けることができない平均化された経路を生成するのとは異なり、より高品質な経路を生成した。
• タイトな変分上界の使用により、最適化が安定し、最近のGANベースの手法よりもEIMがI-射影に有効であることが示された。