[论文解读] Learning Dynamic Classes of Events using Stacked Multilayer Perceptron Networks

Nattiya Kanhabua, Huamin Ren+1 more|arXiv (Cornell University)|Jun 23, 2016

Text and Document Classification Technologies参考文献 20被引用 5

一句话总结

本文提出一种堆叠多层感知机（S-MLP）深度学习模型，基于时间上下文将查询分类为动态事件类别——预期类、突发类、纪念类、迷因类、进行中类和非时间类。该模型在89%的平均平均精度下优于最先进方法，尤其在分类罕见或非偶发事件（如“突发”和“迷因”事件）方面表现优异。

ABSTRACT

People often use a web search engine to find information about events of interest, for example, sport competitions, political elections, festivals and entertainment news. In this paper, we study a problem of detecting event-related queries, which is the first step before selecting a suitable time-aware retrieval model. In general, event-related information needs can be observed in query streams through various temporal patterns of user search behavior, e.g., spiky peaks for popular events, and periodicities for repetitive events. However, it is also common that users search for non-popular events, which may not exhibit temporal variations in query streams, e.g., past events recently occurred, historical events triggered by anniversaries or similar events, and future events anticipated to happen. To address the challenge of detecting dynamic classes of events, we propose a novel deep learning model to classify a given query into a predetermined set of multiple event types. Our proposed model, a Stacked Multilayer Perceptron (S-MLP) network, consists of multilayer perceptron used as a basic learning unit. We assemble stacked units to further learn complex relationships between neutrons in successive layers. To evaluate our proposed model, we conduct experiments using real-world queries and a set of manually created ground truth. Preliminary results have shown that our proposed deep learning model outperforms the state-of-the-art classification models significantly.

研究动机与目标

• 解决在实时搜索流中检测与事件相关查询的挑战，特别是缺乏强烈时间模式的非偶发或低可见度事件。
• 通过利用深度学习捕捉查询数据中复杂非线性关系，克服在分类罕见事件类型时的数据不平衡和可扩展性问题。
• 开发一种动态分类框架，其中事件类型不仅由内容决定，还由查询提交时间与事件日期之间的时间关系决定。
• 提升对代表性不足事件类型（如“迷因”和“突发”事件）的分类性能，这些类型常被传统模型误分类。
• 在包含10,370个标注实例的真实世界查询日志上，证明端到端深度学习在最小特征工程下的有效性。

提出的方法

• 设计一种堆叠多层感知机（S-MLP）架构，其中每个多层感知机作为学习单元，堆叠形成深层网络，以建模复杂的输入-输出关系。
• 使用Adam优化算法进行训练，该算法在不同训练数据比例下均表现出更优的收敛性和损失最小化。
• 通过端到端学习，直接将原始查询文本和时间元数据（命中时间与事件日期）映射到事件类别标签，无需手动特征工程。
• 实施交叉验证，采用70%训练集和30%测试集的划分，并进一步将训练集划分为90%用于学习和10%用于验证，以调整超参数。
• 通过使用完整数据集进行训练来解决数据不平衡问题，避免随机过采样，并依赖深度模型在不平衡类别上的泛化能力。
• 在未来工作中探索应用Dropout正则化以减轻过拟合，特别是通过在训练过程中随机丢弃隐藏层中的神经元来提高模型鲁棒性。

实验结果

研究问题

• RQ1 深度学习模型能否有效将查询分类为基于时间上下文（如过去、未来、进行中或纪念）的动态事件类别？
• RQ2 与传统分类器（如朴素贝叶斯、SVM）相比，S-MLP模型在具有多样事件类型的不平衡真实世界查询日志上的表现如何？
• RQ3 深度学习在多大程度上能够捕捉细微的非偶发事件模式（如“迷因”或“突发”事件），这些事件缺乏强烈的时间峰值或周期性？
• RQ4 堆叠多个多层感知机单元是否能提升分类性能，特别是对罕见或难以检测的事件类型？
• RQ5 在S-MLP的不同隐藏层中有效应用Dropout正则化是否能减少过拟合并提高在稀疏查询数据上的泛化能力？

主要发现

• S-MLP模型实现了89%的平均平均精度（MAP），显著优于朴素贝叶斯（47%）、LibSVM（51%）和标准MLP（69%）在多类别事件分类上的表现。
• 该模型在分类“突发”和“迷因”事件方面表现出色——这两类在传统模型中常被误判——凸显其检测非偶发、低可见度事件的能力。
• Adam优化方法在所有训练数据比例下均实现最佳收敛性和最低损失，是训练S-MLP的最优选择。
• 性能随网络深度增加而提升，证实堆叠多个非线性层可增强模型学习查询与事件类型之间复杂关系的能力。
• 该模型在无需数据过采样的情况下有效处理了数据不平衡问题，表明当在完整且具有代表性的数据集上训练时，深度学习可泛化到罕见事件类别。
• 未来工作表明，Dropout正则化可能进一步提升泛化能力，特别是在防止神经元共适应和减少在噪声或稀疏查询日志上的过拟合方面。