[论文解读] Deep Learning with a Rethinking Structure for Multi-label Classification

Yao-Yuan Yang, Yi-An Lin+2 more|arXiv (Cornell University)|Feb 5, 2018

Text and Document Classification Technologies参考文献 26被引用 26

一句话总结

本文提出 RethinkNet，一种用于多标签分类的新型深度学习框架，通过具有记忆结构的循环神经网络（RNN）实现迭代式预测优化，有效建模标签相关性。该方法支持任意代价敏感评估指标的端到端训练，在包括图像标注任务在内的多种数据集上达到最先进性能。

ABSTRACT

Multi-label classification (MLC) is an important class of machine learning problems that come with a wide spectrum of applications, each demanding a possibly different evaluation criterion. When solving the MLC problems, we generally expect the learning algorithm to take the hidden correlation of the labels into account to improve the prediction performance. Extracting the hidden correlation is generally a challenging task. In this work, we propose a novel deep learning framework to better extract the hidden correlation with the help of the memory structure within recurrent neural networks. The memory stores the temporary guesses on the labels and effectively allows the framework to rethink about the goodness and correlation of the guesses before making the final prediction. Furthermore, the rethinking process makes it easy to adapt to different evaluation criteria to match real-world application needs. In particular, the framework can be trained in an end-to-end style with respect to any given MLC evaluation criteria. The end-to-end design can be seamlessly combined with other deep learning techniques to conquer challenging MLC problems like image tagging. Experimental results across many real-world data sets justify that the rethinking framework indeed improves MLC performance across different evaluation criteria and leads to superior performance over state-of-the-art MLC algorithms.

研究动机与目标

• 为解决多标签分类（MLC）中标签相关性问题，该问题在图像标注和情感识别等现实应用中至关重要。
• 克服如分类器链和基于 RNN 的链式模型中固有的标签顺序偏差。
• 设计一种深度学习框架，通过记忆增强的重思机制实现预测的迭代优化。
• 支持任意可微的代价敏感损失函数的端到端训练，以匹配现实应用需求。
• 在通用和基于图像的 MLC 数据集上，性能优于现有最先进方法。

提出的方法

• RethinkNet 使用多个多标签分类器组成的序列，建模为 RNN，其中隐藏状态作为记忆，用于在多个重思步骤中存储和更新临时标签预测。
• RNN 通过多个时间步处理输入，使模型能够基于前序步骤积累的知识，迭代优化其预测。
• 记忆机制通过存储和更新中间预测，捕捉并利用标签相关性，模拟人类的重思过程。
• 该框架支持任意可微的代价敏感损失函数的端到端训练，可适应 F1、Rank Loss 和 Hamming Loss 等不同评估指标。
• 评估了不同 RNN 变体（GRU、LSTM、SRN、IRNN）对性能的影响。
• 将模型与深度学习主干网络（如 CNN）集成，用于图像标注，实现与视觉特征的联合训练。

实验结果

研究问题

• RQ1 在 RNN 中引入记忆增强的重思机制，能否通过更好地建模标签相关性来提升多标签分类性能？
• RQ2 与 CC 和 Att-RNN 等基于链式结构的模型相比，所提出的 RethinkNet 框架是否能降低对标签顺序的敏感性？
• RQ3 RethinkNet 是否能在包括图像标注基准在内的多样化多标签数据集上实现最先进性能？
• RQ4 通过使用代价敏感损失函数进行端到端训练，RethinkNet 在多大程度上可适应不同的评估标准？
• RQ5 不同 RNN 架构（如 LSTM、GRU 等）对重思机制性能有何影响？

主要发现

• 在 12 个数据集中的 7 个上，RethinkNet 达到最优 F1 分数，包括在 CAL500 和 Corel5k 图像标注数据集上的挑战性任务，优于最先进方法。
• 在 tmc2007 数据集上，RethinkNet 实现 Rank Loss 为 5.01±0.07，F1 分数为 0.771±0.003，优于先前方法。
• 在 bibtex 数据集上，RethinkNet 实现 F1 分数 0.399±0.003，为所有对比模型中的最高值，即使在标签稀疏性较高的情况下亦然。
• 在 Arts1 数据集上，RethinkNet 使用 IRNN 时表现最佳，F1 分数达 0.344±0.009，优于其他 RNN 变体。
• 与基线模型相比，RethinkNet 在 yeast 数据集上的 Rank Loss 显著降低至 9.18±0.16，表明其排序质量更优。
• 消融实验确认，带记忆的重思机制至关重要，无迭代优化的模型性能明显下降。