[论文解读] FROTE: Feedback Rule-Driven Oversampling for Editing Models

Öznur Alkan, Dennis Wei+4 more|arXiv (Cornell University)|Jan 4, 2022

Data Quality and Management被引用 4

一句话总结

FROTE 是一种新颖的数据增强技术，通过基于用户提供的反馈规则对表格数据中的合成实例进行过采样，来编辑机器学习模型，使模型的决策边界与更新后的政策保持一致。该方法在不影响其他数据部分准确率的前提下提升了模型性能，且在通过模型无关的预处理方式处理基于规则的编辑方面，优于当前最先进的方法。

ABSTRACT

Machine learning models may involve decision boundaries that change over time due to updates to rules and regulations, such as in loan approvals or claims management. However, in such scenarios, it may take time for sufficient training data to accumulate in order to retrain the model to reflect the new decision boundaries. While work has been done to reinforce existing decision boundaries, very little has been done to cover these scenarios where decision boundaries of the ML models should change in order to reflect new rules. In this paper, we focus on user-provided feedback rules as a way to expedite the ML models update process, and we formally introduce the problem of pre-processing training data to edit an ML model in response to feedback rules such that once the model is retrained on the pre-processed data, its decision boundaries align more closely with the rules. To solve this problem, we propose a novel data augmentation method, the Feedback Rule-Based Oversampling Technique. Extensive experiments using different ML models and real world datasets demonstrate the effectiveness of the method, in particular the benefit of augmentation and the ability to handle many feedback rules.

研究动机与目标

• 为解决因新规则（如贷款审批或理赔管理）导致决策边界发生变化时更新机器学习模型的挑战。
• 通过直接将专家反馈整合到模型训练中，减少对昂贵的人工重新标注或缓慢数据收集的依赖。
• 提出一种模型无关的预处理解决方案，利用数据增强将反馈规则编码到训练数据中。
• 通过可解释的布尔反馈规则，实现高效、透明且可审计的模型编辑。
• 在提升与新政策边界的对齐度的同时，最小化未受反馈规则影响的数据部分的性能下降。

提出的方法

• FROTE 首先根据用户反馈规则修改现有训练数据，包括在允许的情况下重新标记或删除实例。
• 然后应用一种规则感知的过采样策略，受 SMOTE 启发，在少数类或违反规则的区域附近生成合成实例。
• 该方法通过随机采样或一种基于信息的策略（IP）选择基础实例，后者考虑特征空间的接近度和规则约束。
• 通过在选定的基础实例及其 k 个最近邻之间进行插值生成合成实例，确保与反馈规则保持一致。
• 使用增强后的数据集与任意标准分类器重新训练，使 FROTE 具备模型无关性，适用于黑箱模型。
• 该方法通过最小化对未受影响数据部分的修改，在数据增强与模型保真度之间实现平衡，从而保持整体准确率。

实验结果

研究问题

• RQ1 是否可以通过数据增强有效将反馈规则编码到训练数据中，从而在不从头开始重新训练的情况下更新模型决策边界？
• RQ2 FROTE 在将模型预测与用户指定的反馈规则对齐方面，与当前最先进的方法相比表现如何？
• RQ3 当仅在需要政策更新的区域有少量实例时，数据增强在多大程度上能提升模型性能？
• RQ4 FROTE 是否在提升与新规则对齐度的同时，保持了未受影响数据部分的模型性能？
• RQ5 不同的基础实例选择策略（随机选择与 IP 选择）对增强过程的有效性和效率有何影响？

主要发现

• FROTE 在多个数据集和模型上显著提升了平均排名准确率（MRA）和 F-score，MRA 提升范围在不同配置下为 0.002 至 0.076。
• 该方法在处理多个反馈规则和稀疏数据区域方面优于当前最先进的方法。
• 基于 IP 的基础实例选择策略通常生成的合成实例比随机选择更少，同时保持了相当或更好的性能。
• 在增强规模超过某一临界点后，模型性能开始下降，表明规则对齐与数据质量之间存在权衡。
• 无论采用随机选择还是 IP 选择策略，MRA 均得到提升，且 F-score 未显著降低，表明在不同条件下对基础实例选择具有鲁棒性。
• 该方法通过可解释的布尔反馈规则支持透明、可审计的模型更新，有助于实现治理与数据溯源。