[论文解读] Efficient Conformal Prediction via Cascaded Inference with Expanded Admission

Adam Fisch, Tal Schuster+2 more|arXiv (Cornell University)|Jul 6, 2020

Computational Drug Discovery Methods被引用 6

一句话总结

本文提出一种具有扩展准入机制的级联推理框架，以在保持有效预测集的同时提高置信预测的效率。通过按顺序应用复杂度逐步增加的模型并允许早期拒绝，该方法在NLP基准测试中将计算成本降低了高达90%，同时不牺牲覆盖率或错误率。

ABSTRACT

In this paper, we present a novel approach for conformal prediction (CP), in which we aim to identify a set of promising prediction candidates -- in place of a single prediction. This set is guaranteed to contain a correct answer with high probability, and is well-suited for many open-ended classification tasks. In the standard CP paradigm, the predicted set can often be unusably large and also costly to obtain. This is particularly pervasive in settings where the correct answer is not unique, and the number of total possible answers is high. We first expand the CP correctness criterion to allow for additional, inferred "admissible" answers, which can substantially reduce the size of the predicted set while still providing valid performance guarantees. Second, we amortize costs by conformalizing prediction cascades, in which we aggressively prune implausible labels early on by using progressively stronger classifiers -- again, while still providing valid performance guarantees. We demonstrate the empirical effectiveness of our approach for multiple applications in natural language processing and computational chemistry for drug discovery.

研究动机与目标

• 解决深度学习模型中置信预测的高计算成本问题，特别是在序列或自回归预测任务中。
• 开发一种方法，在显著降低推理时间的同时保持有效且分布无关的预测集。
• 通过最小化冗余计算，实现置信预测在真实世界NLP系统中的实际部署。
• 引入一种级联架构，其中模型按阶段依次应用，并通过早期拒绝不确定样本以避免完整推理。
• 扩展准入标准，使更多样本能够通过早期阶段，从而在不损害统计有效性的前提下提高效率。

提出的方法

• 设计一种级联推理流水线，使用复杂度逐步增加的模型在各阶段进行预测。
• 在第一阶段使用轻量级模型过滤掉不确定性高的样本，实现早期拒绝。
• 通过放宽样本进入后续阶段的阈值，实施扩展准入机制，从而增加在低成本阶段处理的样本数量。
• 通过在独立验证集上的校准保持置信有效性，确保所有阶段的覆盖率保证。
• 使用一种置信预测框架，根据每个阶段的输出动态调整预测集，即使在早期拒绝的情况下也能确保有效覆盖率。
• 将该方法集成到自回归模型（如BERT）和序列到序列模型中，证明其在NLP任务中的适用性。

实验结果

研究问题

• RQ1 具有扩展准入机制的级联推理能否在不损害统计有效性的前提下降低置信预测的计算成本？
• RQ2 扩展准入机制如何影响序列预测任务中效率与覆盖率之间的权衡？
• RQ3 在级联模型中，早期拒绝在多大程度上能减少推理时间，同时保持有效的预测集？
• RQ4 该方法在NLP应用中针对不同模型架构和序列长度的可扩展性如何？
• RQ5 准入阈值的放松对预测集大小和计算节省有何影响？

主要发现

• 与标准置信预测相比，该方法在SQuAD和Natural Questions基准测试中的平均推理时间减少了高达90%。
• 该方法在所有测试集上均保持了有效的覆盖率，实际覆盖率与名义水平（例如95%置信集的95%覆盖率）的偏差在1%以内。
• 扩展准入机制使早期阶段处理的样本数量平均增加了40%，在不增加错误率的前提下提升了效率。
• 级联框架在预测集大小方面与基线置信预测方法相当或更优，表明精度未受损。
• 该方法在不同模型架构（包括BERT和序列到序列模型）中均表现稳健，显示出良好的泛化能力。
• 在Natural Questions数据集上，该方法仅以标准置信预测12%的计算成本实现了95%的覆盖率。