[论文解读] Expected Information Maximization: Using the I-Projection for Mixture Density Estimation

Philipp Becker, Oleg Arenz+1 more|arXiv (Cornell University)|Jan 23, 2020

Anomaly Detection Techniques and Applications参考文献 26被引用 6

一句话总结

本文提出了一种名为期望信息最大化（Expected Information Maximization, EIM）的新算法，通过仅使用数据样本计算数据分布在混合模型上的 I-投影。该方法利用变分上界和基于判别器的密度比估计器，避免了最大似然（M-投影）的模式平均问题，从而更准确地建模高度多模态的数据——在行人和交通预测任务中，其性能优于 EM 和基于 GAN 的方法。

ABSTRACT

Modelling highly multi-modal data is a challenging problem in machine learning. Most algorithms are based on maximizing the likelihood, which corresponds to the M(oment)-projection of the data distribution to the model distribution. The M-projection forces the model to average over modes it cannot represent. In contrast, the I(information)-projection ignores such modes in the data and concentrates on the modes the model can represent. Such behavior is appealing whenever we deal with highly multi-modal data where modelling single modes correctly is more important than covering all the modes. Despite this advantage, the I-projection is rarely used in practice due to the lack of algorithms that can efficiently optimize it based on data. In this work, we present a new algorithm called Expected Information Maximization (EIM) for computing the I-projection solely based on samples for general latent variable models, where we focus on Gaussian mixtures models and Gaussian mixtures of experts. Our approach applies a variational upper bound to the I-projection objective which decomposes the original objective into single objectives for each mixture component as well as for the coefficients, allowing an efficient optimization. Similar to GANs, our approach employs discriminators but uses a more stable optimization procedure, using a tight upper bound. We show that our algorithm is much more effective in computing the I-projection than recent GAN approaches and we illustrate the effectiveness of our approach for modelling multi-modal behavior on two pedestrian and traffic prediction datasets.

研究动机与目标

• 为解决最大似然估计在多模态密度建模中的局限性，即 M-投影会平均掉无法表示的模式。
• 开发一种实用的 I-投影计算算法，该算法聚焦于模型能够表示的模式，忽略其他模式。
• 在仅使用数据样本、无需显式密度形式的前提下，实现一般潜变量模型中 I-投影的高效估计。
• 改进机器人和自主系统中复杂多模态行为的建模，例如行人和交通预测。
• 为 I-投影优化提供一种稳定、基于样本的 GAN 替代方案，具备更好的收敛性和样本质量。

提出的方法

• 提出 I-投影目标的变分上界，将其分解为分量优化目标和系数优化目标。
• 使用通过二元交叉熵训练的判别器来估计密度比 q(x)/p(x)，从而实现基于样本的 I-投影计算。
• 将 I-投影应用于高斯混合模型（GMMs）和专家混合的条件 GMM，其中各分量由深度神经网络参数化。
• 引入一个紧致上界，实现稳定优化，其结构与 EM 类似，但专为 I-投影而非 M-投影设计。
• 引入额外的判别性特征（如道路掩码）以提升模型的真实感和泛化能力。
• 使用随机梯度下降优化上界，判别器提供梯度信号以优化模型。

实验结果

研究问题

• RQ1 是否可以仅从数据样本出发有效计算 I-投影，而无需显式密度形式？
• RQ2 基于 I-投影的学习与最大似然（M-投影）在建模多模态行为方面有何差异？
• RQ3 能否使类似 GAN 的基于判别器的方法在 I-投影优化中保持稳定且高效？
• RQ4 EIM 在真实世界数据集上是否优于 GAN 和 EM，能够学习到更真实、多模态的密度估计？
• RQ5 额外特征（如空间掩码）是否能提升 I-投影模型生成样本的真实感？

主要发现

• 在斯坦福无人机数据集（Stanford Drone Dataset）和下一代仿真数据集（Next Generation Simulation dataset）上，EIM 的测试对数似然显著高于 EM，即使其优化的是不同目标。
• 在 NGS 数据集上，EIM 在掩码违规评估中优于 EM，生成的样本更少出现在道路外，表明其生成结果更具真实感。
• 在 SDD 数据集上，EIM 搭配额外掩码特征在真实感评估中优于 EM，证明了引入先验知识的优势。
• EIM 在障碍物避让任务中成功识别并建模了多个模式，即使组件数量较少，而 EM 无法捕捉所有模式。
• EIM 避免了模式平均问题，生成了质量更高的轨迹，能够避开障碍物；而 EM 生成的轨迹是平均化的，容易导致碰撞。
• 使用紧致变分上界实现了稳定优化，使 EIM 在 I-投影优化方面比近期基于 GAN 的方法更有效。