[论文解读] Discovering Blind Spots of Predictive Models: Representations and Policies for Guided Exploration.

Himabindu Lakkaraju, Ece Kamar+2 more|arXiv (Cornell University)|Oct 28, 2016

Machine Learning and Data Classification参考文献 20被引用 7

一句话总结

本文提出了一种模型无关的框架，用于在固定查询预算下发现预测模型中的未知未知错误——即高置信度的错误预测。该框架采用两阶段方法：基于相似性对实例进行聚类，并在各个聚类间应用探索-利用策略，以高效识别模型失败。该研究首次为该问题提供了算法解决方案。

ABSTRACT

Predictive models deployed in the world may assign incorrect labels to instances with high confidence. Such errors or unknown unknowns are rooted in model incompleteness, and typically arise because of the mismatch between training data and the cases seen in the open world. As the models are blind to such errors, input from an oracle is needed to identify these failures. In this paper, we formulate and address the problem of optimizing the discovery of unknown unknowns of any predictive model under a fixed budget, which limits the number of times an oracle can be queried for true labels. We propose a model-agnostic methodology which uses feedback from an oracle to both identify unknown unknowns and to intelligently guide the discovery. We employ a two-phase approach which first organizes the data into multiple partitions based on instance similarity, and then utilizes an explore-exploit strategy for discovering unknown unknowns across these partitions. We demonstrate the efficacy of our framework by varying the underlying causes of unknown unknowns across various applications. To the best of our knowledge, this paper presents the first algorithmic approach to the problem of discovering unknown unknowns of predictive models.

研究动机与目标

• 解决由于训练数据与真实世界数据之间的分布差异，导致在实际部署的预测模型中难以识别高置信度错误预测（未知未知错误）的挑战。
• 在固定查询预算的约束下，将未知未知错误的发现建模为一个优化问题。
• 开发一种方法，不仅利用人工反馈检测模型失败，还能智能地引导未来的探索方向。
• 实现在不同现实应用场景中系统且高效地发现模型失败，这些场景中未知未知错误的根源各不相同。

提出的方法

• 基于实例相似性将输入空间划分为多个聚类，以聚集语义或结构上相关的数据点。
• 在这些聚类之间应用探索-利用策略，优先查询最可能揭示未知未知错误的实例。
• 利用人工反馈来改进模型对失败区域的理解，并动态更新探索优先级。
• 在探索新、采样不足的聚类与利用已知的高失败潜力聚类之间保持平衡。
• 设计框架时保持模型无关性，使其可应用于任何预测模型，无论其架构或训练过程如何。
• 整合不确定性估计与失败概率建模，以指导每个聚类内的查询选择。

实验结果

研究问题

• RQ1 在有限的人工查询预算下，如何系统性地发现预测模型中的未知未知错误？
• RQ2 与随机或均匀采样相比，基于聚类的划分在未知未知错误检测效率方面能提升多少？
• RQ3 在聚类间应用探索-利用策略，相较于简单探索，如何提升模型失败的发现效率？
• RQ4 所提出的框架能否在未知未知错误成因多样的情况下实现泛化，例如分布偏移、概念漂移或罕见模式？
• RQ5 反馈驱动的自适应机制对未知未知错误发现的速度与准确性有何影响？

主要发现

• 与基线的随机采样和均匀采样策略相比，所提出的框架在未知未知错误检测效率方面实现了显著提升。
• 基于聚类的划分通过将相似实例分组，更有效地定位易出错区域，减少了冗余查询。
• 探索-利用策略通过动态优先处理高潜力聚类，加快了对失败模式的收敛速度。
• 该方法在不同应用场景中表现出鲁棒性，涵盖未知未知错误成因各异的情况，如分布偏移和罕见类别实例。
• 该框架成功识别出原本可能无法被发现的高置信度错误预测，验证了其在提升模型可靠性方面的作用。
• 据作者所知，这是首个系统性发现预测模型中未知未知错误的算法方法，标志着模型不确定性与可靠性研究领域的基础性贡献。