[논문 리뷰] Towards Efficient NLP: A Standard Evaluation and A Strong Baseline

Xiangyang Liu, Tianxiang Sun외 8명|arXiv (Cornell University)|2021. 10. 13.

Topic Modeling인용 수 15

한 줄 요약

이 논문은 성능, FLOPs, 파라미터 수를 기준으로 효율적인 NLP 모델을 평가하기 위한 표준화된 벤치마크와 공개 리더보드인 ELUE를 소개한다. 또한, 기울기 균형과 군집 학습을 통해 BERT가 어떤 계층에서라도 예측을 내보내는 동적 조기 종료를 가능하게 하는 강력한 베이스라인인 ElasticBERT를 제안한다. 이는 GLUE 작업에서 기존의 최고 성능(SOTA)을 기록한 압축 및 조기 종료 모델을 능가하거나 그에 맞추어, 학습 시간을 43% 감소시키며 성능을 유지한다.

ABSTRACT

Supersized pre-trained language models have pushed the accuracy of various natural language processing (NLP) tasks to a new state-of-the-art (SOTA). Rather than pursuing the reachless SOTA accuracy, more and more researchers start paying attention on model efficiency and usability. Different from accuracy, the metric for efficiency varies across different studies, making them hard to be fairly compared. To that end, this work presents ELUE (Efficient Language Understanding Evaluation), a standard evaluation, and a public leaderboard for efficient NLP models. ELUE is dedicated to depict the Pareto Frontier for various language understanding tasks, such that it can tell whether and how much a method achieves Pareto improvement. Along with the benchmark, we also release a strong baseline, ElasticBERT, which allows BERT to exit at any layer in both static and dynamic ways. We demonstrate the ElasticBERT, despite its simplicity, outperforms or performs on par with SOTA compressed and early exiting models. With ElasticBERT, the proposed ELUE has a strong Pareto Frontier and makes a better evaluation for efficient NLP models.

연구 동기 및 목표

• 연구 간 메트릭의 이질성과 결과의 접근성 부족으로 인해 효율적인 NLP 모델에 대한 표준화되고 종합적인 평가가 부족한 문제를 해결하기 위해.
• 정확도, FLOPs, 모델 크기 다각도에서 공정하고 다차원적인 비교를 가능하게 하여 언어 이해 모델의 파레토 경계를 수립하기 위해.
• 압축 및 조기 종료 모델에서 기존의 베이스라인의 약점을 해결하고, 정적 및 동적 효율성 기법 모두에 강력하고 견고한 기반을 제공하기 위해.
• 오픈소스 플랫폼을 통해 공개 결과와 온라인 리더보드를 제공하여 재현 가능하고 투명한 평가를 가능하게 하기 위해.
• 사전 학습 중 그라디언트 균형과 군집 학습을 통해 동적 모델의 학습 시간을 단축시키면서도 성능를 유지하기 위해.

제안 방법

• 모델 성능, FLOPs, 파라미터 수를 지원하는 온라인 평가를 가능하게 하는 표준화된 평가 플랫폼인 ELUE를 제안하며, 결과에 대한 공개 접근과 온라인 리더보드를 제공한다.
• BERT의 어떤 계층에서라도 예측을 내보내는 동적 모델인 ElasticBERT를 도입하여 정적 및 동적 추론 전략을 모두 지원한다.
• 다양한 계층에서의 종료 손실을 균형 있게 맞추기 위해 기울기 균형(GE)을 적용하여, 서로 다른 계층에서의 갈등하는 목표로 인한 성능 저하를 완화한다.
• 사전 학습 중에 종료를 그룹으로 나누어 군집 학습을 적용함으로써, 성능에 큰 손실 없이 최대 43%의 계산 및 학습 시간을 절감한다.
• 각 종료 헤드가 계층 깊이에 따라 가중치가 부여된 손실을 기반으로 훈련되는 다중 작업 학습 목표를 사용하여 균형 잡힌 최적화를 보장한다.
• 상위 분류기 유지와 함께, 내부 분류기를 공유된 백본 파라미터로 훈련하는 계층적 훈련 전략을 구현하여 표현 품질을 유지한다.

실험 결과

연구 질문

• RQ1 FLOPs, 파라미터 수, 추론 속도와 같은 다수의 효율성 차원을 기준으로 효율적인 NLP 모델을 공정하게 평가할 수 있는 표준화된 벤치마크를 구축할 수 있는가?
• RQ2 ElasticBERT와 같은 강력한 베이스라인은 기존의 압축 및 조기 종료 모델보다 표준 NLP 벤치마크에서 얼마나 뛰어난 성능을 내는가?
• RQ3 기울기 균형은 다중 종료 학습 손실을 균형 있게 맞추고, 모든 종료 계층에서의 성능 향상에 얼마나 효과적인가?
• RQ4 사전 학습 중 군집 학습이 내부 및 최종 종료에서의 성능를 유지하면서도 학습 시간을 크게 단축시키는가?
• RQ5 ElasticBERT와 같은 동적 모델이 정적 모델에 비해 정확도와 효율성의 보다 우수한 트레이드오���을 제공함으로써 파레토 개선을 달성할 수 있는가?

주요 결과

• 기울기 균형과 군집 학습을 적용한 ElasticBERT는 비군집 학습 대비 학습 시간을 43% 단축시키며, 성능 저하 없이 구현된다.
• GLUE 벤치마크에서 12개 계층을 가진 ElasticBERT BASE는 MNLI, MRPC, QNLI, QQP 등 모든 작업에서 SOTA 모델을 능가하거나 그에 맞추어 평균 점수 88.4를 기록한다.
• 6개 계층을 가진 ElasticBERT BASE 버전은 GLUE에서 평균 점수 87.0을 기록하여 깊이 감소에 대한 강력한 내구성과 뛰어난 효율-정확도 트레이드오프를 보여준다.
• GE와 군집 학습을 적용한 ElasticBERT는 모든 종료 계층에서 높은 성능를 유지하며, 상위 종료 계층은 MNLI에서 85.4/85.7, MRPC에서 89.2의 점수를 기록한다.
• ELUE 벤치마크는 파레토 경계를 성공적으로 수립하여, 다수의 효율성 및 정확도 차원에서 파레토 개선을 달성한 모델들을 명확히 식별할 수 있게 했다.
• 제거 실험을 통해 기울기 균형이 이중 단계 및 가중치 부여 학습 전략 대비 SST-2 및 MRPC에서 성능 향상에 크게 기여하는 것으로 확인되었다.