[论文解读] Label-Free Model Evaluation with Semi-Structured Dataset Representations

Xiaoxiao Sun, Yunzhong Hou+2 more|arXiv (Cornell University)|Dec 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 40被引用 8

一句话总结

该论文提出了一种用于无标签模型评估（AutoEval）的半结构化数据集表示方法，结合特征分布形状、聚类表示以及通过最远点采样选出的代表性特征，以提升基于回归的准确率估计性能。该方法在25个新旧基准测试中均实现了稳定的性能提升，优于依赖无结构特征或过于简化的统计量的先前方法。

ABSTRACT

Label-free model evaluation, or AutoEval, estimates model accuracy on unlabeled test sets, and is critical for understanding model behaviors in various unseen environments. In the absence of image labels, based on dataset representations, we estimate model performance for AutoEval with regression. On the one hand, image feature is a straightforward choice for such representations, but it hampers regression learning due to being unstructured (\ie no specific meanings for component at certain location) and of large-scale. On the other hand, previous methods adopt simple structured representations (like average confidence or average feature), but insufficient to capture the data characteristics given their limited dimensions. In this work, we take the best of both worlds and propose a new semi-structured dataset representation that is manageable for regression learning while containing rich information for AutoEval. Based on image features, we integrate distribution shapes, clusters, and representative samples for a semi-structured dataset representation. Besides the structured overall description with distribution shapes, the unstructured description with clusters and representative samples include additional fine-grained information facilitating the AutoEval task. On three existing datasets and 25 newly introduced ones, we experimentally show that the proposed representation achieves competitive results. Code and dataset are available at https://github.com/sxzrt/Semi-Structured-Dataset-Representations.

研究动机与目标

• 解决在真实部署场景中对无标签测试集进行模型性能评估的挑战。
• 克服现有数据集表示方法的局限性——要么过于无结构（原始特征），要么过于简单（低维统计量）。
• 开发一种在信息丰富度与可管理性之间取得平衡的表示方法，以支持基于回归的AutoEval。
• 在无需访问真实标签的情况下，实现准确且可泛化的模型性能估计。

提出的方法

• 通过整合三个组件构建半结构化数据集表示：(1) 图像特征维度的边缘分布形状，(2) 从特征嵌入中提取的聚类中心，以及(3) 通过最远点采样（FPS）选择的代表性样本。
• 使用概率密度函数对图像特征的边缘分布形状进行编码，以提供特征统计量的结构化摘要。
• 应用聚类（如k-means）以识别特征空间中的局部结构，聚类中心捕捉细微的分布模式。
• 采用FPS选择能最大化空间分布的代表性样本，确保覆盖数据集的多样性。
• 使用组合表示训练回归模型，以预测在无标签测试集上的模型准确率，其监督信号来自带标签验证集的真实准确率。
• 通过在基准测试划分上进行验证，优化超参数（聚类数量、直方图维度、FPS样本数量）。

实验结果

研究问题

• RQ1 结合结构化与非结构化组件的半结构化数据集表示能否提升无标签模型评估的准确率？
• RQ2 分布形状、聚类和代表性样本在个体及协同作用下对AutoEval性能的贡献如何？
• RQ3 所提出的表示方法在不同数据集和模型架构上是否具备泛化能力？
• RQ4 聚类数量和样本大小等超参数如何影响回归模型的鲁棒性与准确率？
• RQ5 能否有意义地融合现有数据集级统计量（如平均置信度、旋转预测准确率）与所提出的表示方法？

主要发现

• 所提出的半结构化表示在25个新引入的真实世界测试集和三个现有基准上均达到最先进性能，且相对于基线方法表现出一致的改进。
• 在CIFAR-10.1、CIFAR-C和CIFAR-F上，该方法的RMSE值分别为0.6900、1.1830和6.5472，优于先前方法。
• 将现有统计量（如平均置信度或旋转预测准确率）与所提表示融合后未带来明显性能提升，表明所提表示已充分捕获判别性信息。
• FPS采样在代表性样本选择中显著优于随机采样，因其能更好覆盖特征分布，从而实现更低的RMSE。
• 最优超参数因数据集而异：CIFAR-10使用10个聚类（与类别数一致）、30维直方图和100个FPS样本，MNIST和TinyImageNet上也观察到类似趋势。
• 在添加全局均值信号时性能提升微乎其微，表明局部和聚类级统计量已捕获足够的判别性信号。