[論文レビュー] Are Larger Pretrained Language Models Uniformly Better? Comparing Performance at the Instance Level

Ruiqi Zhong, Dhruba Ghosh+2 more|arXiv (Cornell University)|May 13, 2021

Topic Modeling参考文献 27被引用数 4

ひとこと要約

この論文は、全体の精度向上にもかかわらず、インスタンスレベルでは大きな事前学習言語モデルが小さいモデルよりも一貫して優れているかどうかを調査している。事前学習と微調整におけるノイズを考慮した統計的に厳密な手法を用いて、著者らはMNLI、SST-2、QQPの各データセットで、BERT-largeが少なくとも1–4%のインスタンスでBERT-miniより劣っていることを発見した。これは、スケールの拡大に伴い性能が一貫して向上するという仮定に疑問を呈するものである。

ABSTRACT

Larger language models have higher accuracy on average, but are they better on every single instance (datapoint)? Some work suggests larger models have higher out-of-distribution robustness, while other work suggests they have lower accuracy on rare subgroups. To understand these differences, we investigate these models at the level of individual instances. However, one major challenge is that individual predictions are highly sensitive to noise in the randomness in training. We develop statistically rigorous methods to address this, and after accounting for pretraining and finetuning noise, we find that our BERT-Large is worse than BERT-Mini on at least 1-4% of instances across MNLI, SST-2, and QQP, compared to the overall accuracy improvement of 2-10%. We also find that finetuning noise increases with model size and that instance-level accuracy has momentum: improvement from BERT-Mini to BERT-Medium correlates with improvement from BERT-Medium to BERT-Large. Our findings suggest that instance-level predictions provide a rich source of information; we therefore, recommend that researchers supplement model weights with model predictions.

研究の動機と目的

• 全体の精度を超えて、インスタンスレベルでより大きな事前学習言語モデルが一貫して小さいモデルを上回るかどうかを特定すること。
• 事前学習と微調整における乱数シード由来の予測ノイズが、真のモデル性能の差を隠してしまうという課題に対処すること。
• トレーニングにおける確率的要因を考慮したインスタンスレベルの精度を推定する統計的に堅牢な手法を開発すること。
• モデルサイズの違いによるインスタンスレベルの性能トレンドが、モーメンタムまたは分散のパターンを示すかどうかを調査すること。
• 研究者がモデルの予測結果を重みとともに共有することで、モデル行動のインスタンスレベルでの詳細分析を可能にするよう提言すること。

提案手法

• 事前学習ノイズを考慮するため、異なる乱数シードを用いて各サイズ（ミニ、ベース、ラージ）のBERTモデルを10個ずつ事前学習する。
• 微調整ノイズを考慮するため、各事前学習済みモデルを異なる乱数シードで5回微調整し、予測の4次元テンソル（モデルサイズ、インスタンス、事前学習シード、微調整シード）を生成する。
• モンテカルロ平均を用いて、すべての乱数シードにおける正解予測の期待割合としてインスタンスレベルの精度を推定する。
• より小さなモデルがより大きなモデルを上回るインスタンスを特定する際の偽発見率を推定するためのランダムベースラインを構築する。
• ベイジャミン＝ホッジバーグ法に優る、フィッシャーの正確確率検定を組み合わせた改善された統計的手法を適用し、インスタンスレベルの比較における偽発見数の上限を求める。
• 分散成分分析を用いて、予測のばらつきが事前学習シードと微調整シードのどちらに起因しているかを特定し、モデルサイズの変化に伴う性能向上のモーメンタムを検証する。

実験結果

リサーチクエスチョン

• RQ1 より大きな事前学習言語モデルは、インスタンスレベルで一貫して小さいモデルを上回るのか、それとも特定の入力では劣るのか？
• RQ2 モデルサイズ間の観察された性能差のうち、真のモデル能力ではなく、事前学習と微調整におけるランダムノイズに起因する割合はどの程度か？
• RQ3 ミニからメディアムへのモデルサイズ拡大で性能が向上するインスタンスは、メディアムからラージへの拡大でも同様に向上する傾向があるのか、すなわちインスタンスレベルでモーメンタムが見られるか？
• RQ4 モデルサイズに応じて予測のばらつきはどのように変化するのか？ また、そのばらつきの主な要因は、事前学習シードか微調整シードか？
• RQ5 どのような種類のインスタンス（例：レア、論争的、曖昧なラベル）が、より大きなモデルによって誤分類されやすいのか？

主な発見

• MNLI、SST-2、QQPの各データセットにおいて、BERT-largeは少なくとも1–4%のインスタンスでBERT-miniより劣っているが、全体の精度は2–10%向上している。
• より大きなモデルが劣るインスタンスの割合は、ランダムベースラインと統計的補正によって確認されたように、偶然に起因する期待値をはるかに上回っている。
• インスタンスレベルの精度向上にはモーメンタムが見られる：BERT-miniからBERT-mediumに改善するインスタンスは、BERT-mediumからBERT-largeへの改善にも傾向して見られる。
• 微調整ノイズはモデルサイズに応じて増加し、特に大きなモデルでは事前学習ノイズよりも予測ばらつきに寄与している。
• より大きなモデルが劣るインスタンスのセットには、論争的または曖昧なラベルのものだけでなく、正しくラベル付けされた例も含まれており、失敗事例に単純なパターンは見られない。
• 本研究では、研究者が重みとともにモデルの予測結果を公開することで、インスタンスレベルでのモデル行動の細分化分析を可能にするよう提言している。