[论文解读] Mandoline: Model Evaluation under Distribution Shift

Mayee Chen, Karan Goel+4 more|arXiv (Cornell University)|Jul 1, 2021

Machine Learning and Data Classification被引用 10

一句话总结

Mandoline 是一种用户引导的模型评估框架，通过利用从业者定义的“切片函数”来引导密度比估计，从而在分布偏移情况下提升性能估计的准确性。通过使用基于切片的重要度权重重加权源数据，Mandoline 相较于标准重要度加权方法，将估计误差降低了最多3倍，尤其在高维或支持集非重叠的分布偏移下表现更优。

ABSTRACT

Machine learning models are often deployed in different settings than they were trained and validated on, posing a challenge to practitioners who wish to predict how well the deployed model will perform on a target distribution. If an unlabeled sample from the target distribution is available, along with a labeled sample from a possibly different source distribution, standard approaches such as importance weighting can be applied to estimate performance on the target. However, importance weighting struggles when the source and target distributions have non-overlapping support or are high-dimensional. Taking inspiration from fields such as epidemiology and polling, we develop Mandoline, a new evaluation framework that mitigates these issues. Our key insight is that practitioners may have prior knowledge about the ways in which the distribution shifts, which we can use to better guide the importance weighting procedure. Specifically, users write simple "slicing functions" - noisy, potentially correlated binary functions intended to capture possible axes of distribution shift - to compute reweighted performance estimates. We further describe a density ratio estimation framework for the slices and show how its estimation error scales with slice quality and dataset size. Empirical validation on NLP and vision tasks shows that Mandoline can estimate performance on the target distribution up to 3x more accurately compared to standard baselines.

研究动机与目标

• 解决因分布偏移导致目标分布与训练数据不一致时，机器学习模型评估的挑战。
• 克服标准重要度加权方法在高维数据或源与目标分布支持集非重叠情况下的局限性。
• 通过允许从业者定义噪声大但相关的切片函数作为分布偏移轴的代理，利用其领域知识。
• 构建一个理论基础坚实的框架，在支持集重叠极少的现实假设下，仍能提供误差界。
• 在仅需最少人工输入（即切片函数）的前提下，实现对预训练模型在新目标分布上的准确、无需微调的评估。

提出的方法

• 用户定义‘切片函数’——即噪声大、相关的二值函数——以识别数据中潜在的分布偏移轴，如语言模式或元数据。
• 该框架将源数据和目标数据投影到切片空间，降低维度，相比基于原始特征的方法，使密度比估计更加稳定。
• 使用图模型表示切片之间的相关性与不完整性，并结合用户对切片质量的信心，提升鲁棒性。
• 该方法将 LL-KLIEP 扩展为利用关于切片可靠性的先验知识，对密度比估计进行去噪，降低由噪声或不完整切片带来的方差。
• 通过使用估计的切片级密度比对有标签的源数据进行重加权，来估计模型在目标分布上的性能。
• 理论分析提供了估计误差的偏差-方差分解，表明偏差取决于切片质量，方差取决于数据量和分布特性。

实验结果

研究问题

• RQ1 当目标部署分布与训练分布显著不同时，如何改进模型评估？
• RQ2 在分布偏移下，用户定义的切片函数在多大程度上能降低重要度加权的估计误差？
• RQ3 当切片函数存在噪声、相关性或不完整时，该框架的性能如何？
• RQ4 对密度比估计的去噪机制是否能提升对低质量切片函数的鲁棒性？
• RQ5 在标准重要度加权失效的支持偏移场景下，基于重加权的评估能提供何种理论保证？

主要发现

• 当切片函数能完整捕捉分布偏移时，Mandoline 相较于标准重要度加权基线，将估计误差降低了最多3倍。
• 即使切片函数存在噪声或不完整，Mandoline 仍表现出最小的性能下降，证明其对不完美人工输入具有鲁棒性。
• 在高维设置下，该框架保持低误差，而标准重要度加权因密度比估计方差过高而失效。
• 理论分析证实，在合理假设下估计误差是受控的，偏差取决于切片质量，方差取决于数据量和分布特性。
• 在自然语言处理和计算机视觉任务上的实证评估表明，Mandoline 在估计模型在目标分布上的性能方面优于现有基线方法。