[論文レビュー] Exploring BERT Parameter Efficiency on the Stanford Question Answering Dataset v2.0

Eric Hulburd|arXiv (Cornell University)|Feb 25, 2020

Topic Modeling参考文献 9被引用数 6

ひとこと要約

この論文は、SQuAD2.0の質問応答タスクにおけるBERTのパrameter効率を、Transformer層の凍結、アダプタモジュールの適用、コンテキスト対応CNNのテストによって評価している。アダプタモジュールは、BERTのパrameterのたった26%でF1スコア75.0%を達成し、優れた性能を示した一方、コンテキスト対応CNNは性能が低く、推論時間も著しく増加した。

ABSTRACT

In this paper we explore the parameter efficiency of BERT arXiv:1810.04805 on version 2.0 of the Stanford Question Answering dataset (SQuAD2.0). We evaluate the parameter efficiency of BERT while freezing a varying number of final transformer layers as well as including the adapter layers proposed in arXiv:1902.00751. Additionally, we experiment with the use of context-aware convolutional (CACNN) filters, as described in arXiv:1709.08294v3, as a final augmentation layer for the SQuAD2.0 tasks. This exploration is motivated in part by arXiv:1907.10597, which made a compelling case for broadening the evaluation criteria of artificial intelligence models to include various measures of resource efficiency. While we do not evaluate these models based on their floating point operation efficiency as proposed in arXiv:1907.10597, we examine efficiency with respect to training time, inference time, and total number of model parameters. Our results largely corroborate those of arXiv:1902.00751 for adapter modules, while also demonstrating that gains in F1 score from adding context-aware convolutional filters are not practical due to the increase in training and inference time.

研究の動機と目的

• 層の凍結やアダプタモジュールを用いた手法を用いて、BERTのSQuAD2.0におけるパrameter効率を評価すること。
• モデル性能、トレーニング時間、推論時間、パrameter数の間のトレードオフを評価すること。
• 標準的なBERT微調整と比較して、コンテキスト対応CNNが性能を向上させるかを調査すること。
• アダプタモジュールが、パrameter数を削減しつつ、完全微調整の代替手段として実用的かどうかを特定すること。
• 初期BERT層の凍結が、効率性と性能に与える影響を調査すること。

提案手法

• 微調整中に、最終的なBERT Transformer層の数を変化させて凍結する。
• BERTの層の間にアダプタモジュールを挿入し、BERTの重みを凍結したまま、アダプタのパラメータのみを学習する。
• BERTの後段に、コンテキスト対応畳み込み（CACNN）フィルタを適用し、コンテキストベクトル化あり・なしの両方で実験する。
• 異なるアダプタサイズ（64、768）を用いてモデルを訓練し、完全微調整と性能を比較する。
• すべての設定において、トレーニング時間、推論時間、F1スコアを測定する。
• タスク固有の変更なしに、標準的なBERT-baseアーキテクチャをベースモデルとして使用する。

実験結果

リサーチクエスチョン

• RQ1 アダプタモジュールは、トレーニング可能なパラメータ数を削減しながら、SQuAD2.0で競争力のあるF1スコアを達成できるか？
• RQ2 初期BERT層を凍結することで、トレーニング時間とパラメータ数を削減できるが、性能に悪影響を及げないか？
• RQ3 コンテキスト対応CNNは、標準的なBERT微調整に比べて、回答スパン予測の性能を向上させるか？
• RQ4 異なるアダプタサイズやCACNN設定において、トレーニング時間と推論時間はどのようにスケーリングされるか？
• RQ5 CACNNによる性能向上が、トレーニング時間と推論時間の増加を補って十分か？

主な発見

• すべてのBERT層を凍結した768サイズのアダプタモデルは、F1スコア75.0%を達成し、完全微調整BERTの75.8%に非常に近い性能を示したが、パラメータ数はたった26%にまで削減された。
• アダプタモデルは完全微調整BERTとほぼ同じトレーニング時間を要し、推論時間は約20%増加（188.8秒 vs. 154.3秒）した。
• 200フィルタマップを有するコンテキスト対応CNNは、推論時間を80%増加（261.5秒）させ、F1スコアは61.2%にとどまり、アダプタモデルに比べて著しく性能が低かった。
• 最も性能の高かったCACNN（200マップ）は、1例あたり9.5msの推論時間増加をもたらし、低遅延システムでは重大な影響を及ぼす可能性がある。
• 最初の6つのBERT層を凍結することで、トレーニング可能なパラメータ数とトレーニング時間は削減されたが、推論時間やモデルサイズに影響はなかった。
• アダプタモジュールは、パラメータ数の点でCACNNよりも優れた効率性を示した。一方、一部のケースでは高いパラメータ数を有しても、CACNNは性能が低かった。