[论文解读] BoostingBERT:Integrating Multi-Class Boosting into BERT for NLP Tasks

Tongwen Huang, Qingyun She+1 more|arXiv (Cornell University)|Sep 13, 2020

Topic Modeling参考文献 28被引用 12

一句话总结

本文提出 BoostingBERT，一种新颖的方法，通过依次训练多个基于 BERT 的弱学习器，将多分类提升（boosting）整合到 BERT 中，每个弱学习器专注于更难分类的样本。该方法在 GLUE 和中文 NLU 基准测试中显著优于标准 BERT 及基于袋装（bagging）的集成模型，当结合 RoBERTa 和知识蒸馏以提升效率时，实现了最先进（SOTA）的性能结果。

ABSTRACT

As a pre-trained Transformer model, BERT (Bidirectional Encoder Representations from Transformers) has achieved ground-breaking performance on multiple NLP tasks. On the other hand, Boosting is a popular ensemble learning technique which combines many base classifiers and has been demonstrated to yield better generalization performance in many machine learning tasks. Some works have indicated that ensemble of BERT can further improve the application performance. However, current ensemble approaches focus on bagging or stacking and there has not been much effort on exploring the boosting. In this work, we proposed a novel Boosting BERT model to integrate multi-class boosting into the BERT. Our proposed model uses the pre-trained Transformer as the base classifier to choose harder training sets to fine-tune and gains the benefits of both the pre-training language knowledge and boosting ensemble in NLP tasks. We evaluate the proposed model on the GLUE dataset and 3 popular Chinese NLU benchmarks. Experimental results demonstrate that our proposed model significantly outperforms BERT on all datasets and proves its effectiveness in many NLP tasks. Replacing the BERT base with RoBERTa as base classifier, BoostingBERT achieves new state-of-the-art results in several NLP Tasks. We also use knowledge distillation within the "teacher-student" framework to reduce the computational overhead and model storage of BoostingBERT while keeping its performance for practical application.

研究动机与目标

• 探索提升作为 BERT 的集成策略，此前该方法仅限于袋装或堆叠（stacking）。
• 通过自适应重加权，使后续基分类器专注于误分类或难分类样本，从而提升 BERT 的泛化能力。
• 评估 BoostingBERT 在多样化自然语言处理任务中的有效性，特别是低资源场景下的表现。
• 通过教师-学生框架中的知识蒸馏，降低 BoostingBERT 的计算与存储成本。
• 在提升 BERT 模型的背景下，比较参数隐私与参数共享策略。

提出的方法

• 该模型采用多分类提升框架，其中每个基分类器均为预训练的 BERT 或 RoBERTa 模型。
• 前一轮中更难分类的样本被赋予更高的权重，后续 BERT 模型通过微调专注于这些样本。
• 评估了两种策略：参数隐私（每个基模型拥有独立参数）与参数共享（模型间共享参数）。
• 应用知识蒸馏，将 BoostingBERT 集成模型压缩为更小的教师-学生模型，同时保持性能。
• 最终预测通过平均所有基分类器的后验概率获得。
• 在 GLUE 和三个中文 NLU 基准测试上进行实验，以评估在多样化自然语言处理任务中的性能。

实验结果

研究问题

• RQ1 能否有效将提升方法整合到 BERT 中，使其性能超越袋装或堆叠？
• RQ2 在提升 BERT 模型时，参数隐私策略是否优于参数共享？
• RQ3 BoostingBERT 在低资源自然语言处理任务中的表现如何？
• RQ4 知识蒸馏能否有效压缩 BoostingBERT 而不损失性能？
• RQ5 用 RoBERTa 替代基 BERT 模型是否能进一步提升性能并实现最先进结果？

主要发现

• BoostingBERT 在所有评估数据集上均优于标准 BERT，包括 GLUE 和三个中文 NLU 基准测试。
• 在 MRPC 任务上，BoostingBERT 的 F1 达到 87.87，显著高于 BERTBase（85.29）和袋装 BERT（86.52）。
• 在 ECDT 中文情感分析数据集上，BoostingBERT 的 F1 达到 96.88，远超 BERTBase（94.54）和袋装 BERT（96.10）。
• 当使用 RoBERTa 作为基分类器时，BoostingBERT 在 MNLI-matched 任务上达到 87.47 F1，超越先前工作中报告的最佳单模型（87.23）。
• 知识蒸馏生成的更小学生模型（B2B-KD）在 ChnSenti 上达到 94.67 F1，优于 BERTBase（93.00），并在 ECDT 上保持 96.49 F1 的高性能。
• 参数隐私策略始终优于参数共享，尤其在捕捉难分类样本方面表现更优，得益于深层特征表示的保留。