[论文解读] Classification of Sets using Restricted Boltzmann Machines

Jérôme Louradour, Hugo Larochelle|arXiv (Cornell University)|Mar 25, 2011

Music and Audio Processing参考文献 15被引用 14

一句话总结

本文提出了受限玻尔兹曼机（RBMs）的新变体，用于对无序、可变长度的向量集合（如电子邮件中的多份文档或图像区域）进行多分类，通过潜在变量建模集合级别的表征。主要贡献是一组RBMs扩展模型（ClassSetRBM-OR与ClassSetRBM-AND），能够处理集合元素间的部分证据，其在多实例学习基准和真实世界电子邮件分类任务中表现具有竞争力。

ABSTRACT

We consider the problem of classification when inputs correspond to sets of vectors. This setting occurs in many problems such as the classification of pieces of mail containing several pages, of web sites with several sections or of images that have been pre-segmented into smaller regions. We propose generalizations of the restricted Boltzmann machine (RBM) that are appropriate in this context and explore how to incorporate different assumptions about the relationship between the input sets and the target class within the RBM. In experiments on standard multiple-instance learning datasets, we demonstrate the competitiveness of approaches based on RBMs and apply the proposed variants to the problem of incoming mail classification.

研究动机与目标

• 解决对无序、可变长度向量集合（如电子邮件中的多份文档或图像区域）进行分类的挑战。
• 通过建模多个部分信号均需参与的情况，克服传统多实例学习（MIL）的局限性，后者假设仅需一个正样本即可完成分类。
• 开发新型RBMs架构，学习集合与类别标签的联合表征，实现在无需对输入集合进行完全向量化的情况下进行多分类。
• 在概率生成模型（如RBMs）中编码关于单个集合元素如何贡献于类别归属的结构假设（“或”/“与”逻辑），实现对证据聚合的灵活建模。
• 在标准MIL数据集和真实世界收件箱邮件分类任务上验证该方法，展示其相对于现有方法的竞争力表现。

提出的方法

• 提出两种新型RBMs变体：ClassSetRBM-OR与ClassSetRBM-AND，旨在利用潜在表征对集合进行分类建模。
• 引入辅助二值隐藏单元（G），用于建模集合中是否存在满足类别条件的元素，并通过约束确保G与H单元之间的互斥性和层次关系。
• 利用softplus与softmax操作，推导出两种模型的可处理自由能函数，以对隐藏状态进行边际化，从而实现高效的推理与学习。
• 采用基于能量的模型框架，定义输入集合X、类别标签y、隐藏单元H与G的联合概率分布，能量函数E(X, y, H, G)包含权重W、U、b、c、d。
• 采用基于梯度的学习方法，通过log-likelihood的随机近似进行训练，利用可处理的条件分布实现高效训练。
• 对于ClassSetRBM-OR，其自由能为F^OR(X, y) = -d^T y - sum_j softplus(U_j·y + softmax_j(X))，其中softmax_j(X)对所有集合元素在第j个隐藏单元上的证据进行聚合。

实验结果

研究问题

• RQ1 当单个元素仅提供类别归属的部分证据时，基于RBMs的模型能否有效对向量集合进行分类？
• RQ2 如何在概率生成模型（如RBMs）中编码关于集合元素的“或”与“与”逻辑结构假设？
• RQ3 所提出的集合-RBM架构是否在标准基准数据集上优于标准多实例学习基线方法？
• RQ4 该模型能否泛化至真实世界应用，如收件箱邮件分类，其中输入为文本文档的集合？
• RQ5 与将集合表征聚合为固定大小向量的方法相比，建模集合的潜在表征有何影响？

主要发现

• 所提出的ClassSetRBM-OR与ClassSetRBM-AND模型在标准多实例学习数据集上表现具有竞争力，优于或匹配基线MIL方法。
• 在仅部分集合元素提供部分证据的场景下，模型表现出强鲁棒性，而MIL方法则要求至少存在一个完全正例。
• 在电子邮件分类任务中，模型成功利用单封邮件中多份文档的特征，相比简单的词袋聚合方法，显著提升了分类准确率。
• 推导出的自由能函数具有可处理性，即使在可变长度输入集合下，也能实现高效训练与推理。
• 自由能函数中使用softplus与softmax操作，实现了对集合元素间证据的可微分聚合，支持端到端学习。
• 模型能够分解隐藏单元的贡献并强制执行逻辑约束（如互斥性），从而在无需显式特征工程的情况下实现对集合的结构化推理。