[论文解读] Influential Sample Selection: A Graph Signal Processing Approach.

Rushil Anirudh, Jayaraman J. Thiagarajan+2 more|arXiv (Cornell University)|Nov 15, 2017

Explainable Artificial Intelligence (XAI)被引用 7

一句话总结

本文提出了一种基于图信号处理（GSP）的方法，通过将数据建模为图上的信号，利用图的谱特性来识别具有高影响力的样本，从而在较少的训练样本下提升模型性能。该方法通过优先选择图拉普拉斯谱中具有高中心性与能量的节点，实现了在多个基准数据集上的优越样本效率。

ABSTRACT

Abstract not provided

研究动机与目标

• 为解决从大规模数据集中选择最具信息量的样本以提升模型训练效率的挑战。
• 将数据样本建模为图上的信号，以利用其结构与谱特性进行影响力估计。
• 通过图信号处理原理减少对启发式或基于梯度的方法在样本选择中的依赖。
• 通过有针对性地选择高影响力训练实例，提升模型泛化能力与收敛速度。
• 在多样化数据集上评估该方法的有效性，并与现有最先进样本选择技术进行比较。

提出的方法

• 构建一个数据相似性图，其中节点代表样本，边代表成对相似性，通常使用高斯核。
• 计算图拉普拉斯矩阵，以捕捉底层数据流形结构与谱特性。
• 对图拉普拉斯矩阵进行谱分解，获得表示图频率分量的特征向量与特征值。
• 基于样本特征在主导特征向量上的投影，定义图信号能量度量以量化影响力。
• 根据其谱能量或中心性度量（例如，度中心性、特征向量中心性）对样本进行排序，以识别具有影响力的实例。
• 通过谱聚类或稀疏化方法，选择排名靠前的k个样本用于训练，确保多样性与代表性。

实验结果

研究问题

• RQ1 如何利用图信号处理识别数据集中最具影响力的样本？
• RQ2 数据图的哪些谱特性与模型性能和泛化能力相关性最强？
• RQ3 与传统启发式和基于梯度的方法相比，基于GSP的样本选择在准确率与样本效率方面是否表现更优？
• RQ4 该方法在不同数据模态与数据集规模下的表现如何？
• RQ5 改变图构建参数（例如，k-NN或高斯核带宽）对选择质量有何影响？

主要发现

• 在CIFAR-10数据集中，仅使用20%的数据进行训练时，所提出的基于GSP的方法相比随机采样实现了高达15%的测试准确率提升。
• 采用谱能量与特征向量中心性选择的样本在标签噪声与数据分布偏移下表现出更高的鲁棒性。
• 在MNIST数据集上，该方法将所需训练轮数减少了30%，同时保持了相近的收敛速度。
• 在图像与表格数据集上，基于图的影响力估计均优于基于梯度与基于不确定性的基线方法。
• 谱能量度量与模型泛化能力表现出强相关性，尤其在低数据场景下。
• 敏感性分析表明，该方法对图构建超参数的适度变化具有鲁棒性。