[论文解读] Exploiting compositionality to explore a large space of model structures

Roger Grosse, Ruslan Salakhutdinov+2 more|arXiv (Cornell University)|Oct 16, 2012

Data Visualization and Analytics参考文献 36被引用 33

一句话总结

本文提出一种基于组合语法的方法，通过系统性地探索庞大的模型结构空间，从数据中自动发现最优的矩阵分解模型。利用上下文无关语法和对可重用推理算法的贪婪搜索，该方法能高效识别出复杂且数据驱动的结构（如分层或稀疏分解），并在噪声环境下自然简化，从而在图像、动作捕捉和美国参议院投票等多样化数据集上实现强大性能，且仅需单一统一的代码库。

ABSTRACT

The recent proliferation of richly structured probabilistic models raises the question of how to automatically determine an appropriate model for a dataset. We investigate this question for a space of matrix decomposition models which can express a variety of widely used models from unsupervised learning. To enable model selection, we organize these models into a context-free grammar which generates a wide variety of structures through the compositional application of a few simple rules. We use our grammar to generically and efficiently infer latent components and estimate predictive likelihood for nearly 2500 structures using a small toolbox of reusable algorithms. Using a greedy search over our grammar, we automatically choose the decomposition structure from raw data by evaluating only a small fraction of all models. The proposed method typically finds the correct structure for synthetic data and backs off gracefully to simpler models under heavy noise. It learns sensible structures for datasets as diverse as image patches, motion capture, 20 Questions, and U.S. Senate votes, all using exactly the same code.

研究动机与目标

• 解决从海量可能模型结构中自动为给定数据集选择合适概率模型结构的挑战。
• 将多种无监督学习模型（如PCA、NMF和概率矩阵分解）统一在一个组合式框架下。
• 通过少量可重用算法工具箱，实现在多样化模型结构上的高效通用推理。
• 开发一种搜索策略，在不穷举所有可能结构的前提下，识别出高性能模型。
• 通过单一一致的实现，在多样化的真实世界数据集上展示方法的鲁棒性与适应性。

提出的方法

• 作者定义了一个上下文无关语法，通过少量基本操作（如分解、稀疏性、分层结构）组合出大量矩阵分解模型。
• 每种模型结构由语法生成，并表示为解析树，从而实现对模型空间的系统性探索。
• 采用贪婪搜索策略，基于预测似然评估模型，使用可重用的通用推理算法，所有结构共用同一段代码。
• 推理通过变分贝叶斯或期望传播实现，算法组件被抽象为可重用模块。
• 该方法通过语法的组合规则引导，仅评估极小部分可能模型，动态选择最优模型结构。
• 模型选择通过平衡模型复杂度与拟合程度实现，当噪声较高时自动退化为更简单的模型。

实验结果

研究问题

• RQ1 组合语法能否有效生成并探索大规模且多样的矩阵分解模型空间？
• RQ2 单一推理框架能否在无需重新实现的情况下，跨多种截然不同的模型结构复用？
• RQ3 在语法生成的模型上进行贪婪搜索，能否从原始数据中可靠地识别出正确或最优的结构？
• RQ4 该方法在具有不同底层结构的多样化数据集上泛化能力如何？
• RQ5 当数据质量差或噪声高时，该方法能否自然退化为更简单的模型？

主要发现

• 该方法在合成数据上成功识别出正确模型结构，即使真实结构复杂且非平凡。
• 在高噪声条件下，方法自动选择更简单的模型，展现出鲁棒性与自然退化能力。
• 该方法在真实世界数据集上学习到可解释且有意义的结构，包括图像块、动作捕捉序列、20个问题游戏的回答以及美国参议院的表决记录。
• 所有数据集均使用相同的代码库和推理流程，证实了该方法的通用性与可重用性。
• 贪婪搜索策略仅评估了2,500多种可能模型结构中的一小部分，实现了高效的模型发现。
• 该方法在基准数据集上实现了具有竞争力的预测似然，且在模型选择准确性上优于标准基线方法。