[論文レビュー] Short-answer scoring with ensembles of pretrained language models

Christopher M. Ormerod|arXiv (Cornell University)|Feb 23, 2022

Topic Modeling被引用数 6

ひとこと要約

この論文は、Kaggle ASASデータセットにおける自動短回答採点のための事前学習済みトランスフォーマーベース言語モデルのアンサンブルを調査している。個々の大きなモデルは最先端のルールベース手法を下回るが、上位の大きなモデル（例：RoBERTa-large、Electra-large）のアンサンブルは、極めて高い計算コストを伴うが最先端の性能を達成しており、生産環境における正確性と実装可能性のトレードオフを浮き彫りにしている。

ABSTRACT

We investigate the effectiveness of ensembles of pretrained transformer-based language models on short answer questions using the Kaggle Automated Short Answer Scoring dataset. We fine-tune a collection of popular small, base, and large pretrained transformer-based language models, and train one feature-base model on the dataset with the aim of testing ensembles of these models. We used an early stopping mechanism and hyperparameter optimization in training. We observe that generally that the larger models perform slightly better, however, they still fall short of state-of-the-art results one their own. Once we consider ensembles of models, there are ensembles of a number of large networks that do produce state-of-the-art results, however, these ensembles are too large to realistically be put in a production environment.

研究の動機と目的

• Kaggle ASASデータセットを用いて、事前学習済みトランスフォーマーベース言語モデルの短回答採点への有効性を評価すること。
• これらのモデルのアンサンブルが、既存のルールベースベースラインを上回る性能を示すかどうかを特定すること。
• このようなモデルを実世界の教育的評価システムに実装可能かどうかを評価すること。
• ASASベンチマークで最適なパフォーマンスを発揮するモデルアーキテクチャおよびアンサンブル構成を同定すること。
• 自動採点システムにおける高性能モデルと実装制約との間のギャップを明らかにすること。

提案手法

• KSASデータセット上で、Bert、RoBERTa、Electra、DeBERTa、DistilBERTを含む多様な小規模・ベース・大規模事前学習済みトランスフォーマーモデルを微調整した。
• 一般化と収束を向上させるために、トレーニング中に早期停止とハイパーパramータ最適化を適用した。
• ルールベース特徴量を用いた別個の特徴量ベースモデルを訓練し、ニューラルネットワークのパフォーマンスと比較した。
• 予測の平均化または投票戦略を用いて、上位パフォーマンスを示した個々のモデルの予測を組み合わせることでアンサンブルを構築した。
• Cohenの二次加重カッパ（QWK）および標準化された平均差（SMD）といった標準的なNLP指標を用いてモデルを評価した。
• モデル選定を支援するため、モデル容量と一般化可能性のプロキシとしてGLUEベンチマークを用いた。

実験結果

リサーチクエスチョン

• RQ1 大規模な事前学習済み言語モデルのアンサンブルは、Kaggle自動短回答採点データセットで最先端のルールベース手法を上回ることができるか？
• RQ2 モデルサイズやアーキテクチャ（例：RoBERTa、Electra、BERT）は、短回答採点タスクにおけるパフォーマンスにどのように影響するか？
• RQ3 個々の事前学習済みモデルはどの程度ルールベースシステムを上回るのか、またどのプロンプトで失敗するのか？
• RQ4 アンサンブルによる最先端のパフォーマンスを達成するための計算コストはどの程度で、生産環境への実装は可能か？
• RQ5 特徴量工学とディープラーニングを組み合わせることで、純粋なニューラルネットワークアンサンブルを上回るパフォーマンスが達成可能か？

主な発見

• 上位3つの大規模モデル（例：RoBERTa-large、Electra-large、DeBERTa-base）のアンサンブルは、テストセットで最先端のパフォーマンスを達成し、QWKおよびSMD指標で[10]のベンチマークを上回った。
• 最も優れた個々のモデルはRoBERTa-largeで、次にElectra-large、Electra-baseであったが、開発セットとテストセットでパフォーマンス順序にばらつきが見られた。
• 個々のモデルが特定のプロンプトで強く発揮したものの、どの単一の事前学習済みモデルも、[10]のルールベースベースラインを全プロンプトで上回ることはできず、特にプロンプト10で顕著に劣化した。
• 上位3つのモデルのアンサンブルは、開発セットでQWK 0.936、SMD 0.047を達成し、人間採点と高い整合性を示した。
• 最も効率の良いモデル（例：DistilBERT、MobileBERT）ですら、最良のアンサンブルに比べてパフォーマンスが劣っており、性能向上はモデル容量と多様性に起因していると考えられる。
• 最良のアンサンブル（約87500万パラメータ）の計算コストは、リアルタイムまたは低リソース環境での実装には現実的でない。