[論文レビュー] Towards Efficient NLP: A Standard Evaluation and A Strong Baseline

Xiangyang Liu, Tianxiang Sun+8 more|arXiv (Cornell University)|Oct 13, 2021

Topic Modeling被引用数 15

ひとこと要約

本稿では、パフォーマンス、FLOPs、パラメータ数の観点から効率的なNLPモデルを評価するための標準化されたベンチマークおよび公開リーダーボード「ELUE」を紹介する。また、勾配の均衡とグループ化学習を用いて、BERTが任意の層で予測を出力できるようにすることで、動的早期終了を可能にする強力なベースライン「ElasticBERT」を提案する。このモデルはGLUEタスクにおいて、SOTAの圧縮・早期終了モデルと同等またはそれを上回る性能を発揮するとともに、学習時間を43%短縮する。

ABSTRACT

Supersized pre-trained language models have pushed the accuracy of various natural language processing (NLP) tasks to a new state-of-the-art (SOTA). Rather than pursuing the reachless SOTA accuracy, more and more researchers start paying attention on model efficiency and usability. Different from accuracy, the metric for efficiency varies across different studies, making them hard to be fairly compared. To that end, this work presents ELUE (Efficient Language Understanding Evaluation), a standard evaluation, and a public leaderboard for efficient NLP models. ELUE is dedicated to depict the Pareto Frontier for various language understanding tasks, such that it can tell whether and how much a method achieves Pareto improvement. Along with the benchmark, we also release a strong baseline, ElasticBERT, which allows BERT to exit at any layer in both static and dynamic ways. We demonstrate the ElasticBERT, despite its simplicity, outperforms or performs on par with SOTA compressed and early exiting models. With ElasticBERT, the proposed ELUE has a strong Pareto Frontier and makes a better evaluation for efficient NLP models.

研究の動機と目的

• 研究間でメトリクスの不一致や結果の非公開が原因で、効率的NLPモデルに対する標準的かつ包括的な評価が不足している問題に対処すること。
• 精度、FLOPs、モデルサイズの多様な次元において公平な比較を可能にすることで、言語理解モデルのParetoフロンティアを確立すること。
• 特に圧縮および早期終了モデルにおける従来のベースラインの弱さを補う、静的および動的効率化手法の強力で頑健なベースラインを提供すること。
• オープンソースプラットフォームを活用し、結果の公開とオンラインリーダーボードを提供することで、再現可能で透明性の高い評価を可能にすること。
• 事前学習段階でのグループ化学習と勾配の均衡を用いることで、動的モデルの学習時間を短縮しつつ、性能を維持すること。

提案手法

• オンラインでのモデルパフォーマンス、FLOPs、パラメータ数の評価を可能にする標準化された評価プラットフォーム「ELUE」を提案。結果は公開され、オンラインリーダーボードも提供される。
• BERTの任意の層で予測を出力できる動的モデル「ElasticBERT」を導入。静的および動的推論戦略の両方をサポートする。
• 複数のエグジットにおける損失をバランスさせるために勾配の均衡（GE）を採用。これにより、異なる層での対立する目的による性能低下を軽減する。
• 事前学習段階でグループ化学習を適用。エグジットをグループに分け、計算量と学習時間を最大43%まで削減しつつ、性能の著しい低下を防ぐ。
• 各エグジットヘッドを層の深さに応じた重み付き損失で学習させるマルチタスク学習目的を採用。最適化のバランスを保証する。
• 上位分類器を保持し、内部分類器を共有されたバックボーンパラメータで学習する階層的訓練戦略を実装。これにより表現品質を維持する。

実験結果

リサーチクエスチョン

• RQ1 FLOPs、パラメータ数、推論速度といった複数の効率性次元を網羅する標準化されたベンチマークを、効率的NLPモデルの公平な評価に向け構築可能か？
• RQ2 ElasticBERTのような強力なベースラインは、標準的なNLPベンチマークにおいて、既存の圧縮および早期終了モデルをどれほど上回ることができるか？
• RQ3 勾配の均衡は、複数エグジット学習の損失をバランスさせ、全エグジット層における性能向上にどれほど効果的か？
• RQ4 事前学習段階でのグループ化学習は、内部および最終エグジットの性能を維持しつつ、学習時間を顕著に短縮できるか？
• RQ5 ElasticBERTのような動的モデルは、精度と効率性のトレードオフをより良く実現することで、静的モデルに対してPareto改善を達成できるか？

主な発見

• 勾配の均衡とグループ化学習を用いたElasticBERTは、非グループ化学習と比較して学習時間を43%短縮し、性能の著しい低下を伴わない。
• GLUEベンチマークにおいて、12層のElasticBERT BASEは平均スコア88.4を達成し、MNLI、MRPC、QNLI、QQPを含む全タスクでSOTAモデルと同等またはそれを上回る性能を示した。
• ElasticBERT BASEの6層バージョンはGLUEで平均87.0のスコアを達成し、深さの削減に対しても強く頑健であり、効率性と精度のトレードオフが優れていることが示された。
• GEとグループ化学習を用いたElasticBERTは、全エグジット層で高い性能を維持しており、トップエグジットではMNLIで85.4/85.7、MRPCで89.2のスコアを記録した。
• ELUEベンチマークはParetoフロンティアを明確に確立し、複数の効率性および精度次元でPareto改善を達成するモデルの特定を可能にした。
• アブレーションスタディの結果、勾配の均衡は2段階学習および重み付き学習戦略と比較して、SST-2およびMRPCにおける性能を顕著に向上させた。