[论文解读] Multi-label Classification of User Reactions in Online News

Zacarias Curi, Alceu de Souza Britto+1 more|arXiv (Cornell University)|Sep 8, 2018

Text and Document Classification Technologies参考文献 21被引用 5

一句话总结

本论文提出了一种用于巴西葡萄牙语新闻文章中用户反应的多标签分类框架，结合问题转换方法与多种分类器，包括LSTM的创新应用。在BFRC-PT新引入语料库上，Binary Relevance与Random Forest结合取得了最高的micro-F1，而Classifier Chains与Random Forest在Hamming Loss上表现最佳，表明二元分类器策略在新闻反应的多标签意见挖掘中具有有效性。

ABSTRACT

The increase in the number of Internet users and the strong interaction brought by Web 2.0 made the Opinion Mining an important task in the area of natural language processing. Although several methods are capable of performing this task, few use multi-label classification, where there is a group of true labels for each example. This type of classification is useful for situations where the opinions are analyzed from the perspective of the reader, this happens because each person can have different interpretations and opinions on the same subject. This paper discuss the efficiency of problem transformation methods combined with different classification algorithms for the task of multi-label classification of reactions in news texts. To do that, extensive tests were carried out on two news corpora written in Brazilian Portuguese annotated with reactions. A new corpus called BFRC-PT is presented. In the tests performed, the highest number of correct predictions was obtained with the Classifier Chains method combined with the Random Forest algorithm. When considering the class distribution, the best results were obtained with the Binary Relevance method combined with the LSTM and Random Forest algorithms.

研究动机与目标

• 评估问题转换方法在在线新闻中用户反应多标签分类中的有效性。
• 评估包括LSTM在内的多种分类算法在多标签意见挖掘背景下的性能。
• 引入一个全新的、已标注的巴西葡萄牙语语料库（BFRC-PT），用于用户反应分类。
• 将传统方法（如Binary Relevance和Classifier Chains）与基于集成的方法（如RA$k$EL和HOMER）进行比较。
• 确定深度学习模型（如LSTM）是否在此多标签反应分类任务中优于经典算法。

提出的方法

• 作者应用了六种问题转换方法：Binary Relevance（BR）、Classifier Chains（CC）、Calibrated Output Matrix（CLR）、HOMER、Label Powerset（LP）和RA$k$EL。
• 每种方法均与三种基础分类器（Naive Bayes（NB）、Random Forest（RF）、Support Vector Machine（SVM））以及一种深度学习模型（Long Short-Term Memory（LSTM））结合。
• LSTM通过Binary Relevance转换使用，为每个反应标签训练独立的二元分类器。
• BFRC-PT语料库从巴西葡萄牙语在线新闻中构建，标注了多种用户反应和情绪。
• 评估使用标准多标签指标：micro-F1、macro-F1和Hamming Loss，并采用95%置信区间t检验进行统计显著性分析。
• 本研究在两个语料库之间进行比较：G1（现有）和BFRC-PT（新引入），评估方法与算法的鲁棒性。

实验结果

研究问题

• RQ1 与传统分类器相比，结合深度学习（特别是LSTM）的问题转换方法是否能提升新闻文本中用户反应的多标签分类性能？
• RQ2 在新引入的BFRC-PT语料库上，哪种问题转换方法与基础分类器的组合能取得最高性能？
• RQ3 在两个不同的新闻语料库中，不同多标签策略（如BR、CC、RA$k$EL）在micro-F1和Hamming Loss上的表现如何比较？
• RQ4 在本多标签反应分类任务中，LSTM与传统分类器（如Random Forest）之间是否存在统计上显著的性能差异？
• RQ5 语料库特定特征在多大程度上影响方法与算法的最优选择？

主要发现

• Classifier Chains（CC）与Random Forest（RF）的组合在G1和BFRC-PT两个语料库上均取得了最佳的Hamming Loss得分，表明其在标签预测准确性方面表现更优。
• Binary Relevance（BR）与Random Forest（RF）的组合在BFRC-PT语料库上取得了最高的micro-F1得分，优于所有其他方法，包括BR与LSTM的组合。
• BR方法与LSTM的组合在20种评估配置中位列micro-F1第六，表明其具有竞争力但未表现出显著优势。
• 在95%置信水平下，LSTM与RF的结果之间无统计显著差异，表明在此设置中LSTM并未显著优于传统模型。
• RA$k$EL方法（创建类别集成）在BFRC-PT上分别取得了第三和第四高的micro-F1得分，表明其性能强劲，尽管并非最优方法。
• HOMER和Label Powerset（LP）在两个语料库上均表现最差，表明其在本特定多标签反应分类任务中效果有限。