[论文解读] Information Gain Propagation: a new way to Graph Active Learning with Soft Labels

Wentao Zhang, Yexin Wang+6 more|arXiv (Cornell University)|Mar 2, 2022

Machine Learning and Algorithms被引用 6

一句话总结

本文提出信息增益传播（IGP），一种新颖的图主动学习框架，通过使用宽松查询（专家仅验证模型预测的标签而非指定确切类别）和软标签来降低标注成本。通过最大化图中信息增益的传播，IGP在准确率和效率方面显著优于当前最先进的基于GNN的主动学习方法，尤其在大规模分类问题上表现更优。

ABSTRACT

Graph Neural Networks (GNNs) have achieved great success in various tasks, but their performance highly relies on a large number of labeled nodes, which typically requires considerable human effort. GNN-based Active Learning (AL) methods are proposed to improve the labeling efficiency by selecting the most valuable nodes to label. Existing methods assume an oracle can correctly categorize all the selected nodes and thus just focus on the node selection. However, such an exact labeling task is costly, especially when the categorization is out of the domain of individual expert (oracle). The paper goes further, presenting a soft-label approach to AL on GNNs. Our key innovations are: i) relaxed queries where a domain expert (oracle) only judges the correctness of the predicted labels (a binary question) rather than identifying the exact class (a multi-class question), and ii) new criteria of maximizing information gain propagation for active learner with relaxed queries and soft labels. Empirical studies on public datasets demonstrate that our method significantly outperforms the state-of-the-art GNN-based AL methods in terms of both accuracy and labeling cost.

研究动机与目标

• 为降低训练GNN的高标注成本，减少对领域专家提供的昂贵精确硬标签的依赖。
• 设计一种新的GNN主动学习范式，支持宽松查询，即专家仅需验证模型预测的标签，而非指定确切类别。
• 提出一种新型节点选择标准，明确最大化在软标签和宽松查询下图中信息增益的传播。
• 证明所提出方法在不同GNN架构上具有泛化能力，并在准确率和标注效率方面优于现有基线方法。

提出的方法

• 引入宽松查询机制，即让模型的前p个预测类别由人工标注者验证，而非识别真实类别，从而将多分类任务转化为二分类任务。
• 提出一种软标签构建方法，当预测标签错误时，对剩余类别重新归一化模型的softmax输出，以保留概率置信度。
• 提出基于期望信息增益传播（IGP）的新节点选择标准，选择能最大程度减少邻近未标注节点不确定性的节点。
• 引入每个已标注节点的影响幅度，以加权其对邻近区域不确定性减少的贡献，确保高影响力节点优先被选中。
• 在GNN微调过程中利用软标签进行信息性训练，以提升模型泛化能力。
• 使用归一化的软标签，防止对高阶数节点产生偏差，确保信息传播的公平性与有效性。

实验结果

研究问题

• RQ1 在基于GNN的主动学习中，仅需专家验证模型预测的宽松查询是否能显著减轻标注负担？
• RQ2 最大化图中信息增益传播是否能带来优于单节点不确定度采样的模型性能？
• RQ3 与硬标签相比，使用软标签对模型准确率和标注效率有何影响？
• RQ4 所提出的IGP方法在不同GNN架构和图数据集上具有多大程度的泛化能力？
• RQ5 IGP框架中的哪些组件（如信息性选择、软标签归一化）对性能最为关键？

主要发现

• 在PubMed数据集上，IGP在测试准确率上比当前最先进的GNN基线方法高出超过1.8%，展现出显著的性能提升。
• 在Cora数据集上，IGP实现了86.4%（±0.6）的测试准确率，比基线高出2.5%，前提是节点选择未受信息增益传播影响。
• 消融实验表明，移除信息性训练或选择机制会导致性能最大降幅（在PubMed上达2.9%），证实其对模型性能的关键作用。
• 该方法在不同GNN模型（包括MVGRL）上均表现出良好泛化能力，且在ALG和GRAIN等基线方法上持续实现性能提升。
• 归一化的软标签和影响幅度加权对性能至关重要，移除后导致显著准确率下降，尤其在高阶数节点偏差问题上表现明显。
• 可视化结果表明，IGP实现了图中标签节点（软标签与硬标签）更均衡的分布，从而实现更广泛的不确定性减少，提升模型泛化能力。