[论文解读] Empirical Study of the Benefits of Overparameterization in Learning Latent Variable Models

Rares-Darius Buhai, Yoni Halpern+3 more|arXiv (Cornell University)|Jun 28, 2019

Machine Learning and Data Classification参考文献 24被引用 13

一句话总结

本文通过实证研究探讨了潜在变量模型无监督学习中的过参数化现象，表明当潜在变量数量显著超过真实数量时，可在噪声或网络、稀疏编码和概率上下文无关文法模型中更有效地恢复真实组件。过参数化提升了优化稳定性与参数恢复能力，且在10倍过参数化的情况下性能未下降，同时使通过简单过滤方法分离真实组件成为可能。

ABSTRACT

One of the most surprising and exciting discoveries in supervised learning was the benefit of overparameterization (i.e. training a very large model) to improving the optimization landscape of a problem, with minimal effect on statistical performance (i.e. generalization). In contrast, unsupervised settings have been under-explored, despite the fact that it was observed that overparameterization can be helpful as early as Dasgupta & Schulman (2007). We perform an empirical study of different aspects of overparameterization in unsupervised learning of latent variable models via synthetic and semi-synthetic experiments. We discuss benefits to different metrics of success (recovering the parameters of the ground-truth model, held-out log-likelihood), sensitivity to variations of the training algorithm, and behavior as the amount of overparameterization increases. We find that across a variety of models (noisy-OR networks, sparse coding, probabilistic context-free grammars) and training algorithms (variational inference, alternating minimization, expectation-maximization), overparameterization can significantly increase the number of ground truth latent variables recovered.

研究动机与目标

• 探究无监督学习中潜在变量模型过参数化的实证优势，因该领域的理论理解仍落后于监督学习设置。
• 评估过参数化在不同模型与训练算法下对真实潜在变量恢复的影响。
• 评估过参数化对训练超参数与变分近似变化的鲁棒性。
• 确定过参数化是否通过增加初始化接近真实组件的概率来促进优化，或通过其他机制实现。
• 探索过参数化的极限，包括收益递减与性能下降的潜在风险。

提出的方法

• 在合成与半合成数据集上对三种潜在变量模型（噪声或网络、稀疏编码、概率上下文无关文法）进行实验。
• 通过逐步增加潜在变量数量（最多为真实数量的10倍）来测量恢复效果与对数似然性能。
• 采用多种优化算法：使用逻辑回归识别网络的变分推断、均值场变分后验，以及交替最小化。
• 训练后应用简单过滤步骤，基于参数接近度与先验概率，识别并保留与真实组件匹配的潜在变量。
• 通过训练后与真实组件之间的最小费用二分图匹配，全程追踪潜在变量的匹配情况。
• 评估对训练超参数的敏感性，包括批量大小与变分后验选择。

实验结果

研究问题

• RQ1 过参数化是否能提升无监督学习中潜在变量模型对真实潜在变量的恢复效果？
• RQ2 过参数化如何影响不同模型与训练算法下的保留对数似然与优化稳定性？
• RQ3 过参数化的收益是源于初始化更接近真实组件的概率增加，还是源于其他优化动力学机制？
• RQ4 极端过参数化（如真实组件数量的10倍）对模型性能与泛化能力有何影响？
• RQ5 训练算法的变化（如批量大小、变分后验）如何与过参数化相互作用，进而影响恢复性能？

主要发现

• 过参数化显著提升了真实潜在变量的恢复数量，随着模型规模增大，更多训练运行实现了完整恢复。
• 即使潜在变量数量达到真实数量的10倍，保留对数似然仍持续提升，表明极端过参数化未造成显著性能下降。
• 过参数化的优势在多种训练算法下均表现稳健，包括不同后验近似方式的变分推断与交替最小化。
• 潜在变量匹配情况在训练过程中发生显著变化，表明过参数化对优化的促进作用不仅源于初始化接近真实组件。
• 简单过滤步骤——剔除先验概率低或近似重复的变量——可成功从过参数化解中分离出真实组件。
• 变分族的选择对性能影响显著；较弱的近似方式（如 Šingliar & Hauskrecht, 2006）即使在高过参数化下仍会阻碍完全恢复。