[论文解读] Evaluating representations by the complexity of learning low-loss predictors

WILLIAM F. WHITNEY, Min Jae Song+3 more|arXiv (Cornell University)|Sep 15, 2020

Machine Learning and Data Classification参考文献 39被引用 10

一句话总结

本文提出了两种新度量——剩余描述长度（SDL）和ε样本复杂度（ε SC），通过评估在表示基础上学习低损失预测器的复杂度来衡量表示质量。与依赖数据集大小的先前方法不同，SDL和ε SC聚焦于损失容差，使其对数据量不敏感，且更符合实际部署需求。

ABSTRACT

We consider the problem of evaluating representations of data for use in solving a downstream task. We propose to measure the quality of a representation by the complexity of learning a predictor on top of the representation that achieves low loss on a task of interest, and introduce two methods, surplus description length (SDL) and $\varepsilon$ sample complexity ($\varepsilon$SC). In contrast to prior methods, which measure the amount of information about the optimal predictor that is present in a specific amount of data, our methods measure the amount of information needed from the data to recover an approximation of the optimal predictor up to a specified tolerance. We present a framework to compare these methods based on plotting the validation loss versus evaluation dataset size (the "loss-data" curve). Existing measures, such as mutual information and minimum description length probes, correspond to slices and integrals along the data axis of the loss-data curve, while ours correspond to slices and integrals along the loss axis. We provide experiments on real data to compare the behavior of each of these methods over datasets of varying size along with a high performance open source library for representation evaluation at https://github.com/willwhitney/reprieve.

研究动机与目标

• 解决机器学习中表示评估缺乏稳健、原则性方法的问题。
• 识别现有度量（如验证准确率VA、互信息MI、最小描述长度MDL）对评估数据集大小敏感的局限性。
• 基于“损失-数据曲线”提出新框架，分析表示评估，将关注点从数据量转向损失容差。
• 开发反映学习低损失预测器真实复杂度的度量，更好地契合实际部署场景。
• 提供一种可扩展且可解释的表示评估方法，避免因数据不足而过早下结论。

提出的方法

• 引入‘损失-数据曲线’作为核心可视化工具，绘制验证损失与评估数据集大小的关系。
• 将剩余描述长度（SDL）定义为在所有数据集大小下，超过目标ε容差的额外损失的积分。
• 将ε样本复杂度（ε SC）定义为达到与最优预测器损失相差不超过ε所需最小数据集大小。
• 使用自助采样和多次网络随机初始化来估计损失-数据曲线，并附带不确定性估计。
• 应用预序编码和MDL原理计算描述长度分量，确保信息论基础。
• 通过分析损失-数据曲线上的切片和沿损失轴的积分（而非数据轴），将SDL和ε SC与VA、MI、MDL进行对比。

实验结果

研究问题

• RQ1 现有表示评估度量对评估数据集大小的敏感性在多大程度上影响其可靠性？
• RQ2 我们能否定义一种不依赖数据集大小、而聚焦于预测器损失容差的表示评估度量？
• RQ3 学习低损失预测器的复杂度与表示质量之间存在何种关系？
• RQ4 SDL和ε SC在鲁棒性和可解释性方面与传统度量（如VA、MI、MDL）相比如何？
• RQ5 SDL和ε SC能否在大规模真实世界表示学习任务中实际应用？

主要发现

• VA和MDL对评估数据集大小高度敏感，常导致关于表示质量的不一致或误导性结论。
• 在小数据集上评估时，MDL错误地将最低层ELMo排为最佳，但随着数据集大小增加，该排名发生反转。
• SDL和ε SC对数据集大小变化具有鲁棒性，并正确识别出某些表示需要显著更多数据才能实现低损失。
• 在词性分类任务中，ε SC显示ELMo第0层需要超过47.8万个样本才能达到ε=0.1的损失容差，而第1层仅需约23.8万个，表明其可学习性存在显著差异。
• SDL和ε SC具有可扩展性：在单个GPU上对BERT规模任务评估这些度量仅耗时约一小时，证明了其实际可行性。
• 损失-数据曲线框架揭示，现有度量（VA、MI、MDL）评估的是固定数据集的属性，而SDL和ε SC评估的是具有指定损失容差的预测器属性，因此更契合现实世界部署需求。