[論文レビュー] BoostingBERT:Integrating Multi-Class Boosting into BERT for NLP Tasks

Tongwen Huang, Qingyun She+1 more|arXiv (Cornell University)|Sep 13, 2020

Topic Modeling参考文献 28被引用数 12

ひとこと要約

本稿では、複数のBERTベースの弱学習器を逐次的に訓練することで、より分類が難しいインスタンスに注目する多クラスブースティングをBERTに統合する新しい手法BoostingBERTを提案する。この手法は、GLUEおよび中国語NLUベンチマークにおいて、標準的なBERTやバギングベースのアンサンブルを大きく上回り、RoBERTaと知識蒸留を組み合わせることで最先端の結果を達成する。

ABSTRACT

As a pre-trained Transformer model, BERT (Bidirectional Encoder Representations from Transformers) has achieved ground-breaking performance on multiple NLP tasks. On the other hand, Boosting is a popular ensemble learning technique which combines many base classifiers and has been demonstrated to yield better generalization performance in many machine learning tasks. Some works have indicated that ensemble of BERT can further improve the application performance. However, current ensemble approaches focus on bagging or stacking and there has not been much effort on exploring the boosting. In this work, we proposed a novel Boosting BERT model to integrate multi-class boosting into the BERT. Our proposed model uses the pre-trained Transformer as the base classifier to choose harder training sets to fine-tune and gains the benefits of both the pre-training language knowledge and boosting ensemble in NLP tasks. We evaluate the proposed model on the GLUE dataset and 3 popular Chinese NLU benchmarks. Experimental results demonstrate that our proposed model significantly outperforms BERT on all datasets and proves its effectiveness in many NLP tasks. Replacing the BERT base with RoBERTa as base classifier, BoostingBERT achieves new state-of-the-art results in several NLP Tasks. We also use knowledge distillation within the "teacher-student" framework to reduce the computational overhead and model storage of BoostingBERT while keeping its performance for practical application.

研究の動機と目的

• BERTにおけるアンサンブル戦略としてブースティングを検討すること。これまでのところ、バギングやスタッキングに限限されていた。
• 適応的再重み付けを通じて、後続のベース分類器を誤分類や難しい例に焦点を当てるようにすることで、BERTの一般化性能を向上させること。
• 特に訓練データが限られる低リソースNLPタスクにおいて、BoostingBERTの有効性を評価すること。
• 教師-生徒フレームワークにおける知識蒸留を用いて、BoostingBERTの計算コストおよびストレージコストを削減すること。
• ブースティングBERTモデルの文脈において、重みのプライバシー戦略と重み共有戦略を比較すること。

提案手法

• 各ベース分類器が事前学習済みBERTまたはRoBERTaモデルである多クラスブースティングフレームワークを採用する。
• 直前のラウンドで分類が難しいとされた例に高い重みが与えられ、その後続のBERTモデルはこれらのインスタンスに注目して微調整される。
• 2つの戦略を評価する：重みのプライバシー（各ベースモデルが独立したパラメータを有する）と重み共有（モデル間でパラメータを共有する）。
• 知識蒸留を適用して、BoostingBERTアンサンブルをより小さな生徒モデルに圧縮しつつ、性能を維持する。
• 最終的な予測は、すべてのベース分類器の事後確率の平均値によって得られる。
• GLUEおよび3つの中国語NLUベンチマークで実験を行い、多様なNLPタスクにおける性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ブースティングは、バギングやスタッキングを上回る性能を発揮するように、BERTに効果的に統合可能か？
• RQ2 ブースティングBERTモデルにおいて、重みのプライバシー戦略は重み共有戦略を上回るか？
• RQ3 BoostingBERTは低リソースNLPタスクでどのように性能を発揮するか？
• RQ4 知識蒸留は、性能を損なわずにBoostingBERTを効果的に圧縮可能か？
• RQ5 ベースBERTをRoBERTaに置き換えることで、性能がさらに向上し、最先端の結果を達成できるか？

主な発見

• BoostingBERTは、GLUEおよび3つの中国語NLUベンチマークを含むすべての評価データセットで、標準的なBERTを上回る性能を発揮した。
• MRPCタスクでは、BoostingBERTがF1スコア87.87を達成したのに対し、BERTBaseは85.29、バギングBERTは86.52であった。
• ECDT中国語センチメントデータセットでは、BoostingBERTがF1スコア96.88を記録し、BERTBase（94.54）およびバギングBERT（96.10）を大きく上回った。
• RoBERTaをベース分類器として使用した場合、BoostingBERTはMNLI-matchedタスクでF1スコア87.47を達成し、先行研究で報告された最良の単一モデル（87.23）を上回った。
• 知識蒸留により、より小さな生徒モデル（B2B-KD）が得られ、ChnSentiでF1スコア94.67を達成し、BERTBase（93.00）を上回り、ECDTでもF1スコア96.49を維持した。
• 重みのプライバシー戦略は、深層部での特徴表現が保持されるため、特に難しい例を捉える能力において、重み共有戦略を一貫して上回った。