[논문 리뷰] BoostingBERT:Integrating Multi-Class Boosting into BERT for NLP Tasks

Tongwen Huang, Qingyun She외 1명|arXiv (Cornell University)|2020. 09. 13.

Topic Modeling참고 문헌 28인용 수 12

한 줄 요약

이 논문은 다중 클래스 부스팅을 BERT에 통합하는 새로운 방법인 BoostingBERT를 제안한다. 이 방법은 다수의 BERT 기반 약한 학습기들을 순차적으로 훈련시켜 더 어렵게 분류되는 예측 인스턴스에 집중한다. 이 접근법은 GLUE 및 중국어 NLU 벤치마크에서 표준 BERT와 백킹 기반 앙상블보다 뚜렷이 뛰어나며, RoBERTa와 지식 정제를 조합함으로써 효율성을 확보한 상태에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

As a pre-trained Transformer model, BERT (Bidirectional Encoder Representations from Transformers) has achieved ground-breaking performance on multiple NLP tasks. On the other hand, Boosting is a popular ensemble learning technique which combines many base classifiers and has been demonstrated to yield better generalization performance in many machine learning tasks. Some works have indicated that ensemble of BERT can further improve the application performance. However, current ensemble approaches focus on bagging or stacking and there has not been much effort on exploring the boosting. In this work, we proposed a novel Boosting BERT model to integrate multi-class boosting into the BERT. Our proposed model uses the pre-trained Transformer as the base classifier to choose harder training sets to fine-tune and gains the benefits of both the pre-training language knowledge and boosting ensemble in NLP tasks. We evaluate the proposed model on the GLUE dataset and 3 popular Chinese NLU benchmarks. Experimental results demonstrate that our proposed model significantly outperforms BERT on all datasets and proves its effectiveness in many NLP tasks. Replacing the BERT base with RoBERTa as base classifier, BoostingBERT achieves new state-of-the-art results in several NLP Tasks. We also use knowledge distillation within the "teacher-student" framework to reduce the computational overhead and model storage of BoostingBERT while keeping its performance for practical application.

연구 동기 및 목표

• BERT에 대해 부스팅을 앙상블 전략으로 활용할 수 있는지 탐색하며, 이는 이전까지 백킹 또는 스태킹에 국한되어 있었다.
• 적응형 재가중을 통해 이후 기저 분류기들이 잘못 분류되거나 어려운 예측 인스턴스에 집중하도록 하여 BERT의 일반화 성능을 향상시키는 것.
• 특히 훈련 데이터가 제한된 과제들에서 BoostingBERT의 효과성을 평가하는 것.
• 교사-학생 프레임워크에서 지식 정제를 적용하여 BoostingBERT의 계산 및 저장 비용을 줄이는 것.
• 부스팅 BERT 모델의 맥락에서 가중치 프라이버시 및 가중치 공유 전략을 비교하는 것.

제안 방법

• 각 기저 분류기가 사전 훈련된 BERT 또는 RoBERTa 모델인 다중 클래스 부스팅 프레임워크를 사용한다.
• 이전 라운드에서 더 어려운 예측 인스턴스는 더 높은 가중치를 받으며, 이후 BERT 모델은 이러한 인스턴스에 집중하도록 미세조정된다.
• 두 가지 전략을 평가한다: 가중치 프라이버시(각 기저 모델이 독립적인 파라미터를 가짐) 및 가중치 공유(모델 간 공유 파라미터).
• 지식 정제를 적용하여 BoostingBERT 앙상블를 더 작은 학생 모델로 압축하면서 성능을 유지한다.
• 최종 예측은 모든 기저 분류기의 후행 확률 평균을 취함으로써 도출된다.
• GLUE 및 세 개의 중국어 NLU 벤치마크에서 실험을 수행하여 다양한 자연어 처리 과제에서의 성능를 평가한다.

실험 결과

연구 질문

• RQ1 부스팅이 BERT에 효과적으로 통합되어 백킹 또는 스태킹을 넘어서 성능 향상을 이룰 수 있는가?
• RQ2 부스팅 BERT 모델에서 가중치 프라이버시 전략이 가중치 공유 전략보다 우수한가?
• RQ3 BoostingBERT는 자원이 제한된 자연어 처리 과제에서 어떻게 성능을 발휘하는가?
• RQ4 지식 정제가 성능을 손상시키지 않고 BoostingBERT를 효과적으로 압축할 수 있는가?
• RQ5 기본 BERT 모델을 RoBERTa로 교체하면 성능 향상이 이루어지고 최신 기술 수준 성능를 달성할 수 있는가?

주요 결과

• BoostingBERT는 GLUE 및 세 개의 중국어 NLU 벤치마크를 포함한 모든 평가 데이터셋에서 표준 BERT를 뛰어넘는 성능를 보였다.
• MRPC 과제에서 BoostingBERT는 87.87 F1을 기록했으며, BERTBase(85.29) 및 백킹 BERT(86.52)보다 높았다.
• ECDT 중국어 감성 분석 데이터셋에서 BoostingBERT는 96.88 F1을 기록했으며, BERTBase(94.54) 및 백킹 BERT(96.10)보다 뚜렷이 높았다.
• RoBERTa를 기저 분류기로 사용할 경우, BoostingBERT는 MNLI-matched에서 87.47 F1을 달성하여 이전 연구에서 보고된 최고 단일 모델(87.23)을 초월했다.
• 지식 정제를 통해 더 작은 학생 모델(B2B-KD)을 생성했으며, ChnSenti에서 94.67 F1을 기록하여 BERTBase(93.00)를 초월했고, ECDT에서는 96.49 F1을 유지했다.
• 가중치 프라이버시 전략은 깊은 층에서 특징 표현을 유지함으로써 하드 인스턴스를 더 잘 포착할 수 있어, 특히 가중치 공유 전략보다 일관되게 뛰어난 성능를 보였다.