[论文解读] Goldilocks: Just-Right Tuning of BERT for Technology-Assisted Review

Eugene Yang, Sean MacAvaney+2 more|arXiv (Cornell University)|May 3, 2021

Topic Modeling被引用 6

一句话总结

本文评估了微调后的 BERT 在高召回率检索任务中的技术辅助审查（TAR）应用，表明适度的语言模型（LM）微调——既不过少也不过多——对性能至关重要。令人惊讶的是，BERT 在领域内 RCV1-v2 数据上将审查成本降低了 10–15%，但在领域外的法律电子邮件数据上表现不如线性模型，凸显出领域对齐和最优微调比模型架构本身更为关键。

ABSTRACT

Technology-assisted review (TAR) refers to iterative active learning workflows for document review in high recall retrieval (HRR) tasks. TAR research and most commercial TAR software have applied linear models such as logistic regression to lexical features. Transformer-based models with supervised tuning are known to improve effectiveness on many text classification tasks, suggesting their use in TAR. We indeed find that the pre-trained BERT model reduces review cost by 10% to 15% in TAR workflows simulated on the RCV1-v2 newswire collection. In contrast, we likewise determined that linear models outperform BERT for simulated legal discovery topics on the Jeb Bush e-mail collection. This suggests the match between transformer pre-training corpora and the task domain is of greater significance than generally appreciated. Additionally, we show that just-right language model fine-tuning on the task collection before starting active learning is critical. Too little or too much fine-tuning hinders performance, worse than that of linear models, even for a favorable corpus such as RCV1-v2.

研究动机与目标

• 评估微调后的 BERT 在技术辅助审查（TAR）工作流中的有效性，特别是在迭代主动学习设置中。
• 研究语言模型微调程度对高召回率检索任务性能的影响。
• 比较基于 BERT 的模型与传统线性模型（如逻辑回归）在审查成本和有效性方面的表现。
• 评估 BERT 在具有长期迭代过程的真实 TAR 应用中的计算开销。
• 识别在训练和推理成本较高的情况下，BERT 仍能提供成本优势的条件。

提出的方法

• 在主动学习前，使用任务特定的未标注语料对 BERT 进行掩码语言建模微调，并调整微调周期数。
• 每次 TAR 运行均以单个正样本开始，并使用不确定性采样和相关性反馈进行迭代主动学习。
• 使用审查成本（需审查的文档数量）作为主要指标，在多个主题和语料库中评估模型性能。
• 将 BERT 与基于词汇特征和元数据特征训练的逻辑回归模型进行比较，采用相同的主动学习协议。
• 测量多个迭代中的计算成本，包括 LM 微调和文档打分时间。
• 使用两个数据集：RCV1-v2（领域内）和 Jeb Bush 邮件语料（领域外），以评估领域敏感性。

实验结果

研究问题

• RQ1 微调后的 BERT 在具有迭代主动学习的 TAR 工作流中是否优于传统线性模型？
• RQ2 BERT 在 TAR 中的最优语言模型微调程度是什么？其对性能有何影响？
• RQ3 BERT 的预训练语料与任务语料之间的领域不匹配如何影响模型有效性？
• RQ4 在 TAR 中使用 BERT 的计算成本是多少？其带来的边际收益是否值得？
• RQ5 不同的采样策略（不确定性 vs. 相关性反馈）如何与 BERT 微调及任务特征相互作用？

主要发现

• 在领域内 RCV1-v2 语料上，当使用最优周期数进行微调时，BERT 将审查成本降低了 10–15%，优于逻辑回归模型。
• 在领域外的 Jeb Bush 邮件语料上，即使经过微调，BERT 的表现仍不如线性模型，表明领域不匹配严重限制了其有效性。
• 微调不足或过度均会降低 BERT 性能，极端情况下的表现最差，表明存在一个‘恰到好处’的微调区间。
• BERT 的计算成本极高——每轮平均达 18 小时（1100 分钟），每次打分迭代耗时 40 分钟，使其在小型项目中不切实际。
• 审查成本的变化轨迹在不同微调周期下差异显著，尤其是在困难和罕见类别中，表明不存在适用于所有主题的通用最优设置。
• 尽管有效性提升有限，但 BERT 的高计算开销可能使其在许多真实世界的 TAR 应用中难以被采纳，尤其是在模型仅使用一次的情况下。