[论文解读] Exploiting Heterogeneous Graph Neural Networks with Latent Worker/Task Correlation Information for Label Aggregation in Crowdsourcing
该论文提出了一种异构图神经网络（HGNN）框架，通过一种新颖的注意力机制学习工作者与任务之间的潜在相关性，从而在众包环境中建模工作者-任务交互。通过在同类型节点间引入工作者间和任务间依赖关系的同质注意力层，该模型在13个真实世界数据集上的标签聚合任务中实现了最先进（SOTA）的性能，显著优于现有方法，在准确性和鲁棒性方面均有显著提升。
Crowdsourcing has attracted much attention for its convenience to collect labels from non-expert workers instead of experts. However, due to the high level of noise from the non-experts, an aggregation model that learns the true label by incorporating the source credibility is required. In this paper, we propose a novel framework based on graph neural networks for aggregating crowd labels. We construct a heterogeneous graph between workers and tasks and derive a new graph neural network to learn the representations of nodes and the true labels. Besides, we exploit the unknown latent interaction between the same type of nodes (workers or tasks) by adding a homogeneous attention layer in the graph neural networks. Experimental results on 13 real-world datasets show superior performance over state-of-the-art models.
研究动机与目标
- 通过改进标签聚合方法，超越简单的多数投票，以应对众包中标签噪声的挑战。
- 建模传统方法难以捕捉的复杂、多维的工作者与任务关系。
- 开发一种表示学习框架，无需显式任务特征，以增强泛化能力和可扩展性。
- 整合工作者之间和任务之间的潜在相关性，以提升真实标签的推理性能。
提出的方法
- 构建一个异构图，其中工作者和任务作为两种不同的节点类型，通过表示标注分配的边相连。
- 应用消息传递图神经网络（MP-GNN）来聚合工作者-任务交互中的邻域信息。
- 引入一种新颖的同质注意力层（COR层），用于建模同类型节点（工作者或任务）之间的潜在相关性，捕捉工作者间和任务间依赖关系。
- 采用多层架构（MP2 + COR + MP2）迭代优化节点表示并预测真实标签。
- 使用交叉熵损失在标注数据上端到端训练模型，推理过程中无需真实标签。
- 为所有数据集固定隐藏维度为30，以在最终评估中平衡性能与泛化能力。
实验结果
研究问题
- RQ1异构图神经网络能否有效建模众包中的工作者-任务交互，以提升标签聚合性能？
- RQ2工作者之间和任务之间的潜在相关性如何影响真实标签推理的准确性？
- RQ3通过同质注意力层整合节点间依赖关系，是否能提升标准消息传递GNN的性能？
- RQ4所提出方法在多样化的真实世界数据集上与最先进标签聚合模型相比表现如何？
- RQ5该模型在无需显式任务特征或真实标签的情况下，其泛化能力在多大程度上得以保持？
主要发现
- MP2+COR+MP2模型在全部13个数据集上的平均准确率最高，显著优于基线模型。
- 在web数据集上，所提模型达到97.34%的准确率，较次优模型高出超过1.5个百分点。
- COR层在13个数据集中的8个上提升了性能，证明了建模潜在工作者间与任务间相关性的价值。
- 即使仅使用5%的训练数据，模型仍表现出色，表明其具有高度的数据效率。
- 消融实验确认，COR层提供的优势不仅限于两跳消息传递，因其能捕捉长距离依赖关系。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。