[论文解读] Maximum Margin Output Coding

Yi Zhang, Jeff Schneider|arXiv (Cornell University)|Jun 27, 2012

Music and Audio Processing参考文献 18被引用 50

一句话总结

本文提出最大边界输出编码（MMOC），一种用于多标签分类的结构化预测框架，通过最大边界公式联合优化判别性和可预测性编码字。通过将问题重新表述为具有指数级约束的度量学习问题，采用过度生成松弛法与切割平面法实现高效优化，在图像、文本和音乐分类基准上取得最先进性能。

ABSTRACT

In this paper we study output coding for multi-label prediction. For a multi-label output coding to be discriminative, it is important that codewords for different label vectors are significantly different from each other. In the meantime, unlike in traditional coding theory, codewords in output coding are to be predicted from the input, so it is also critical to have a predictable label encoding. To find output codes that are both discriminative and predictable, we first propose a max-margin formulation that naturally captures these two properties. We then convert it to a metric learning formulation, but with an exponentially large number of constraints as commonly encountered in structured prediction problems. Without a label structure for tractable inference, we use overgenerating (i.e., relaxation) techniques combined with the cutting plane method for optimization. In our empirical study, the proposed output coding scheme outperforms a variety of existing multi-label prediction methods for image, text and music classification.

研究动机与目标

• 为解决多标签预测中设计兼具判别性与可预测性的输出编码的挑战。
• 平衡编码字分离（判别能力）与从输入特征中可预测性之间的权衡。
• 开发一种联合优化编码字设计与预测函数的结构化学习方法。
• 在结构化预测公式中存在指数级约束的前提下，实现有效优化。
• 在图像、文本和音乐分类等多样化领域中超越现有多标签方法。

提出的方法

• 提出一种最大边界公式，直接优化编码字的判别性与标签编码的可预测性。
• 将最大边界问题重新表述为一个包含大量约束的度量学习任务，这些约束代表成对标签向量的差异。
• 使用过度生成松弛法处理优化过程中不可行的大量约束。
• 采用切割平面法迭代识别并添加最违反的约束，实现高效优化。
• 训练一个联合预测器，将输入映射到编码字，同时尊重学习到的度量结构。
• 将输出编码设计与预测模型整合为单一端到端学习框架。

实验结果

研究问题

• RQ1 如何设计输出编码以最大化不同标签向量之间的判别性分离？
• RQ2 当约束数量随标签空间大小呈指数增长时，何种优化策略可实现有效学习？
• RQ3 联合学习框架能否同时提升多标签分类中的编码字设计与预测性能？
• RQ4 所提出方法在不同数据类型上的多标签学习方法中表现如何？
• RQ5 最大边界公式在结构化输出预测中在多大程度上提升了可预测性与泛化能力？

主要发现

• 所提出的MMOC框架在多标签图像分类基准上达到最先进性能。
• MMOC在文本分类任务中优于多种基线方法，包括传统输出编码与多标签SVM。
• 该方法在音乐流派分类中表现出强大泛化能力，表明其在不同领域中的鲁棒性。
• 切割平面方法高效处理了指数级庞大的约束集，实现了可扩展训练。
• 编码字设计与预测的联合优化显著提升了预测准确率与标签分离效果。
• 实证结果证实，最大边界公式增强了输出编码的判别能力与可预测性。