[論文レビュー] Automated essay scoring using efficient transformer-based language models

Christopher M. Ormerod, Akanksha Malhotra+1 more|arXiv (Cornell University)|Feb 25, 2021

Topic Modeling被引用数 24

ひとこと要約

本論文は、Mobile-BERT、Electra、Reformerなどの効率的で小型のトランスフォーマーに基づく言語モデルを自動エッセイ採点（AES）に使用することを提案し、これらのモデルをアンサンブル化することで、BERTのような大規模モデルよりもはるかに少ないパラメータ数と低い計算コストで、ASAP AESデータセットにおいて最先端の性能を達成することを示している。このアプローチは、NLP分野における「より大きなモデルがより良い」という一般的な仮定に挑戦し、適切に微調整され、アンサンブル化された小型で効率的なモデルが、大規模モデルを上回ることを示している。

ABSTRACT

Automated Essay Scoring (AES) is a cross-disciplinary effort involving Education, Linguistics, and Natural Language Processing (NLP). The efficacy of an NLP model in AES tests it ability to evaluate long-term dependencies and extrapolate meaning even when text is poorly written. Large pretrained transformer-based language models have dominated the current state-of-the-art in many NLP tasks, however, the computational requirements of these models make them expensive to deploy in practice. The goal of this paper is to challenge the paradigm in NLP that bigger is better when it comes to AES. To do this, we evaluate the performance of several fine-tuned pretrained NLP models with a modest number of parameters on an AES dataset. By ensembling our models, we achieve excellent results with fewer parameters than most pretrained transformer-based models.

研究の動機と目的

• 自動エッセイ採点（AES）におけるNLP分野で一般的に受け入れられている、より大きなモデルが常に優れているという仮定に挑戦すること。
• Mobile-BERT、Electra、Reformerなどの小型で効率的なトランスフォーマーモデルがASAP AESデータセットでどのように性能を発揮するかを評価すること。
• 軽量アーキテクチャを用いたモデルアンサンブルが、BERTのような大規模モデルよりも優れた結果をもたらすことを実証すること。
• 計算リソースとメモリのオーバーヘッドを低減し、リソース制限のあるデバイスへの展開を可能にすること。
• 微調整モデルの炭素排出量を最小限に抑えることで、環境に配慮したNLPの実践を促進すること。

提案手法

• ASAP AESデータセット上で、Mobile-BERT、Electra、およびカスタム6層Reformerを含む複数の効率的トランスフォーマーモデルを、5-fold交差検証分割を用いて微調整した。
• 回帰的スコアリングのため、平均二乗誤差（MSE）損失を適用し、離散的なスコアを[0,1]の等間隔の区間の中点にマッピングした。
• 各モデルのハイパーパramータ最適化のため、ドメイン探索を学習率とバッチサイズの範囲で実施した。
• RTX 8000を用いて、大規模なエッセイコーパス上で、512次元の隠れ層、4つのアテンションヘッド、4つのハッシュ関数、16,000個のサブワードトークンを有するカスタムReformerモデルを訓練した。
• 最も優れた性能を示したモデル（例：Mobile-BERTとElectra）の予測値を平均化し、最終スコアに丸めることでアンサンブル化した。
• 標準的な評価指標を用いた：二次加重カッペア（QWK）、標準化された平均差（SMD）、正答率（Acc）。

実験結果

リサーチクエスチョン

• RQ1 小型で効率的なトランスフォーマーモデルは、BERTのような大規模モデルと比較して、自動エッセイ採点で競争力ある、あるいはより優れた性能を発揮できるか？
• RQ2 複数の軽量モデルをアンサンブル化することで、個々のモデルやBERT自体の性能を上回ることができるか？
• RQ3 Reformer や Mobile-BERT といった効率的なアーキテクチャは、標準的なトランスフォーマーに比べて、長文エッセイの長さスケーラビリティをどのように向上させられるか？
• RQ4 アーキテクチャの効率性が、スコアリングの正確性を損なわずに、計算コストと炭素排出量をどの程度低減できるか？
• RQ5 手作業で設計した特徴量や追加の正則化を用いることで、モデルサイズを増大させずに、軽量モデルの性能をさらに向上させられるか？

主な発見

• Mobile-BERTとElectraのアンサンブルは、パラメータ数が約1/3に抑えられても、BERT単体よりも高いQWKスコアを達成した。
• ElectraとMobile-BERTは個別にBERTを上回った性能を示し、アーキテクチャの効率性が性能向上に寄与することを示した。
• カスタムReformerモデルは、最大1024トークンの長大なシーケンスを正常に処理でき、標準的なトランスフォーマーがエッセイ採点で直面する主な制限要因を克服した。
• 最も優れたモデルは、BERTやBERT拡張版に報告されたスコアを上回るQWKスコアを達成し、軽量モデルのための新たなベンチマークを確立した。
• アンサンブル化により顕著な性能向上が得られ、効率的アーキテクチャ間の相補的な強みが裏付けられた。
• 本研究は、計算コストと環境的負荷を著しく低減しつつ、小型モデルが大規模モデルと同等またはそれを上回る性能を発揮できることを実証した。