[论文解读] From Known to Unknown: Quality-aware Self-improving Graph Neural Network for Open Set Social Event Detection

Jiaqian Ren, Lei Jiang+5 more|arXiv (Cornell University)|Aug 15, 2022

Advanced Graph Neural Networks被引用 6

一句话总结

本文提出了一种质量感知的自提升图神经网络（QSGNN），用于开放集社交事件检测，利用已知事件表征来引导可靠的知识迁移至未知事件。通过引入具有正交约束的严格成对损失，并使用参考相似度分布向量进行伪标签生成、基于多样性的采样以及质量感知的优化，QSGNN 在封闭集与开放集基准上均取得了最先进性能。

ABSTRACT

State-of-the-art Graph Neural Networks (GNNs) have achieved tremendous success in social event detection tasks when restricted to a closed set of events. However, considering the large amount of data needed for training a neural network and the limited ability of a neural network in handling previously unknown data, it remains a challenge for existing GNN-based methods to operate in an open set setting. To address this problem, we design a Quality-aware Self-improving Graph Neural Network (QSGNN) which extends the knowledge from known to unknown by leveraging the best of known samples and reliable knowledge transfer. Specifically, to fully exploit the labeled data, we propose a novel supervised pairwise loss with an additional orthogonal inter-class relation constraint to train the backbone GNN encoder. The learnt, already-known events further serve as strong reference bases for the unknown ones, which greatly prompts knowledge acquisition and transfer. When the model is generalized to unknown data, to ensure the effectiveness and reliability, we further leverage the reference similarity distribution vectors for pseudo pairwise label generation, selection and quality assessment. Following the diversity principle of active learning, our method selects diverse pair samples with the generated pseudo labels to fine-tune the GNN encoder. Besides, we propose a novel quality-guided optimization in which the contributions of pseudo labels are weighted based on consistency. We thoroughly evaluate our model on two large real-world social event datasets. Experiments demonstrate that our model achieves state-of-the-art results and extends well to unknown events.

研究动机与目标

• 解决图神经网络在开放集设置下泛化至未知社交事件的挑战，其中新事件类别持续涌现。
• 克服现有 GNN 方法依赖封闭世界假设、无法泛化至未见事件类型的问题。
• 通过引入一种具有正交约束的新成对损失，强化类间分离，从而在有限标注数据下提升特征学习能力。
• 通过使用参考相似度分布向量生成并评估伪成对标签，实现从已知事件到未知事件的可靠知识迁移。
• 通过基于多样性的样本选择和质量引导的损失优化，提升模型的鲁棒性与适应性，实现自提升过程中的持续优化。

提出的方法

• 提出一种具有正交类间关系约束的严格成对损失，以提升 GNN 编码器中的判别性特征学习，超越标准三元组损失或交叉熵损失。
• 从已知事件表征中构建参考相似度分布（RSD）向量，作为未知样本标注的可靠参考基准。
• 通过比较未知样本与 RSD 向量的相似度，生成其伪成对标签，实现在无人工标注情况下的自监督学习。
• 实施基于多样性的采样策略，选择具有多样性且高熵的未知事件对，以提升泛化能力并避免冗余。
• 引入质量感知的优化策略，根据一致性得分对伪标签贡献进行加权，降低噪声并提升微调的可靠性。
• 通过迭代选择具有高质伪标签的有信息量、多样化的样本，应用主动学习原则，在自提升循环中微调 GNN 编码器。

实验结果

研究问题

• RQ1 如何改进 GNN 在已知事件上的特征学习，以更好地支持开放集社交事件检测中向未知事件的迁移？
• RQ2 已知事件的参考相似度分布向量在多大程度上能够实现对未知事件的可靠伪标签生成？
• RQ3 对未知事件对进行基于多样性的采样在开放集设置下如何影响模型的泛化能力和性能表现？
• RQ4 基于一致性的伪标签质量评估是否能显著提升 GNN 自提升过程中的一致性与可靠性？
• RQ5 在对噪声或不确定的伪标签未知数据进行微调时，质量感知损失优化是否能显著增强模型的鲁棒性与性能？

主要发现

• QSGNN 在两个大规模真实社交事件检测数据集上均取得了最先进性能，优于现有封闭集与开放集基线方法。
• 所提出的具有正交约束的成对损失显著提升了类间分离能力，生成的判别性表征优于标准三元组损失或交叉熵损失。
• 使用 RSD 向量进行伪标签生成可显著提升预测标签与真实标签之间的一致性，相较于基线方法，正例相似度上升，负例相似度下降。
• 基于多样性的采样策略显著提升了模型泛化能力，消融实验表明，若替换为随机采样则性能出现显著下降。
• 质量感知优化策略（根据一致性对伪标签贡献加权）带来显著性能提升，验证了其在降低噪声与提升微调稳定性中的关键作用。
• 一致性值分布表明，一致性值极高（>0.5）或极低（<0.5）的伪标签最为可靠，而接近 0.5 的值高度模糊，验证了质量评估机制的有效性。