[論文レビュー] Early Exiting with Ensemble Internal Classifiers

Tianxiang Sun, Yunhua Zhou+6 more|arXiv (Cornell University)|May 28, 2021

Topic Modeling参考文献 38被引用数 14

ひとこと要約

本稿では、アンサンブル学習と情報理論を活用して、事前学習言語モデルにおける早期終了のための新しい訓練目的と投票ベースの推論戦略を提案する。内部分類器の精度と多様性を同時に最適化することで、従来手法よりも優れた精度-速度トレードオフを達成し、ALBERTでは2.0倍の高速化で最大82.4%の精度を達成した。

ABSTRACT

As a simple technique to accelerate inference of large-scale pre-trained models, early exiting has gained much attention in the NLP community. It allows samples to exit early at internal classifiers without passing through the entire model. Most existing work usually trains the internal classifiers independently and employs an exiting strategy to decide whether or not to exit based on the confidence of the current internal classifier. However, none of these works takes full advantage of the fact that the internal classifiers are trained to solve the same task therefore can be used to construct an ensemble. In this paper, we show that a novel objective function for the training of the ensemble internal classifiers can be naturally induced from the perspective of ensemble learning and information theory. The proposed training objective consists of two terms: one for accuracy and the other for the diversity of the internal classifiers. In contrast, the objective used in prior work is exactly the accuracy term of our training objective therefore only optimizes the accuracy but not diversity. Further, we propose a simple voting-based strategy that considers predictions of all the past internal classifiers to infer the correct label and decide whether to exit. Experimental results on various NLP tasks show that our proposed objective function and voting-based strategy can achieve better accuracy-speed trade-offs.

研究の動機と目的

• 内部分類器の多様性を考慮しないまま精度のみ最適化する従来の早期終了手法の非効率性を是正する。
• 早期終了をアンサンブル学習の問題としてモデル化することで、推論速度と精度を向上させる。
• 情報理論を用いて、精度と内部分類器の多様性のバランスを取る新しい訓練目的を提案する。
• すべての過去の内部分類器の予測を活用して終了意思決定を行う投票ベースの終了戦略を提案する。
• DistilBERT や LayerDrop などの最先端手法よりも優れた精度-速度トレードオフを、複数のNLPベンチマークで達成する。

提案手法

• 内部分類器を異なる層に配置し、それらを組み合わせることで予測の信頼性を向上させるアンサンブル学習の問題として早期終了を定式化する。
• 2つの項を持つ新しい損失関数を提案する。1つは真のラベルの尤度を最大化する（精度）、もう1つは分類器の予測間の相互情報量を最小化する（多様性）。
• 情報理論を用いて、内部分類器の共同予測と真のラベルの間の相互情報量の下界を導出し、これが損失関数が最適化する対象である。
• 多様性正則化のための動的ソフトラベルターゲット {1−λpc, λpc} を導入する。これはラベルスムージングに類似しているが、層ごとに適応的に変化する。
• すべての過去に通過した内部分類器の予測を集約して最終ラベルを推定し、終了を判断する投票ベースの終了戦略を設計する。
• 提案された損失関数と戦略を、任意のバックボーンモデル（例：BERT、ALBERT）と統合可能であり、プラグアンドプレイでの導入が可能である。

実験結果

リサーチクエスチョン

• RQ1 内部分類器の精度と多様性を同時に最適化することで、早期終了の性能が向上するか？
• RQ2 提案された情報理論的損失関数は、標準的な交差エントロピー損失と比較して、一般化性能や速度-精度トレードオフにおいて優れているか？
• RQ3 すべての過去の内部分類器の予測を活用する投票ベースの終了戦略は、信頼度ベースや忍耐力ベースの戦略を上回るか？
• RQ4 λ と k のハイパーパrameter選択に対して、提案手法は異なるモデルやデータセットに対してどれほど頑健か？
• RQ5 多様性正則化は、事前学習モデルの深層部における過信の問題をどれほど軽減するか？

主な発見

• 提案手法は、ALBERTにおけるマルチクラステキスト分類タスクで2.0倍の高速化で95.2%の精度、82.4%のF1スコアを達成し、PABEE や DistilBERT といった従来手法を上回った。
• SST-2の開発セットでは、提案された損失関数と投票戦略を用いたモデルが2.0倍の高速化で97.0%の精度を達成し、オラクルベースラインを精度で上回りながらも高速であった。
• アブレーションスタディの結果、λ = 0.2 が最も優れた精度-速度トレードオフを達成した。一方、λ = 0（多様性損失を除去）に設定した場合、性能が最も悪かった。
• 1.4倍未満の高速化比において、投票ベースの戦略は忍耐力ベースやエントロピー基準の戦略を一貫して上回り、早期終了意思決定の有効性を示した。
• 実証的分析により、多様性正則化が深層部のターゲットをなめらかにし、過信を軽減し、一般化性能を向上させることを確認した。
• 多様性正則化は主に隣接層に作用しており、それらの予測が予測において最も相関が高いため、層間多様性を促進する点で効率的であることが裏付けられた。