[論文レビュー] On the Use of BERT for Automated Essay Scoring: Joint Learning of Multi-Scale Essay Representation

Yongjie Wang, Chuan Wang+2 more|arXiv (Cornell University)|May 8, 2022

Natural Language Processing Techniques被引用数 5

ひとこと要約

本稿では、BERTを用いたマルチスケールエッセイ表現の共同学習フレームワークを提案する。文書、文、トークンレベルの特徴を統合することで、自動エッセイ採点（AES）の性能を向上させる。複数の損失関数（MSE、ランク損失、スコア分布）を組み合わせ、ドメイン外エッセイからの転移学習とR-Dropを適用することで、SOTAに近い性能（ASAPではQWK 0.791）を達成し、CommonLit Readability Prizeのような長文タスクに対しても良好な汎化性能を示す。

ABSTRACT

In recent years, pre-trained models have become dominant in most natural language processing (NLP) tasks. However, in the area of Automated Essay Scoring (AES), pre-trained models such as BERT have not been properly used to outperform other deep learning models such as LSTM. In this paper, we introduce a novel multi-scale essay representation for BERT that can be jointly learned. We also employ multiple losses and transfer learning from out-of-domain essays to further improve the performance. Experiment results show that our approach derives much benefit from joint learning of multi-scale essay representation and obtains almost the state-of-the-art result among all deep learning models in the ASAP task. Our multi-scale essay representation also generalizes well to CommonLit Readability Prize data set, which suggests that the novel text representation proposed in this paper may be a new and effective choice for long-text tasks.

研究の動機と目的

• BERTが他のNLPタスクで成功を収めているにもかかわらず、AESでは性能が低いという問題に対処すること。
• BERT内に文書、文、トークンレベルのマルチスケール特徴を明示的にモデル化することで、エッセイ採点を向上させること。
• データ不足に起因するAESの課題を、ドメイン外エッセイからの転移学習によって軽減すること。
• 人間の採点者行動を模倣したマルチ損失最適化により、モデルの汎化性能とロバスト性を向上させること。
• マルチスケール表現が長文スコアリングタスクに有効であることを実証すること。

提案手法

• BERTを用いて文書、文、トークンレベルの特徴を抽出するマルチスケールエッセイ表現フレームワークを導入する。
• 複数スケールを同時に学習する共同学習戦略を採用し、特徴の統合を強化する。
• 平均二乗誤差（MSE）、ランク損失（MR）、スコア分布損失（SIM）の3つの損失関数を用い、人間の採点者行動に適合させる。
• 限定的なAESデータに対して過学習を抑制し、汎化性能を向上させるために、訓練中にR-Drop正則化を適用する。
• ターゲットAESデータセットでの微調整の前に、ドメイン外エッセイで事前学習することで、転移学習を実施する。
• マルチスケール特徴抽出と回帰のためのタスク固有ヘッドを備えた共有BERTエンコーダーを活用する。

実験結果

リサーチクエスチョン

• RQ1 マルチスケールエッセイ表現の共同学習は、BERTの自動エッセイ採点（AES）における性能向上に寄与するか？
• RQ2 人間の採点者行動を反映する複数の損失関数を組み込むことで、モデルの性能と汎化性能が向上するか？
• RQ3 ドメイン外エッセイからの転移学習は、データ不足に起因する低リソースAES環境における採点精度の向上を実現できるか？
• RQ4 マルチスケール表現フレームワークは、元のデータセットを超えた長文スコアリングタスクに対しても効果的に汎化できるか？
• RQ5 性能向上はマルチスケールモデリングに起因するのか、それとも単に長文脈アテンションの能力に起因するのか？

主な発見

• 提案されたマルチスケールBERTモデル（BERT-DOC-TOK-SEG）は、ASAPデータセットで平均QWK 0.782を達成し、単一スケールモデル（例：BERT-DOC：0.746、BERT-DOC-TOK：0.771）を顕著に上回った。
• マルチスケール表現を有するモデル（BERT-DOC-TOK-SEG）は、CRPデータセットでRMSE 0.607を達成し、長文の読解性スコアリングへの優れた汎化性能を示した。
• R-Dropを用いた転移学習により、QWKはベースモデルの0.782からTran-BERT-MS-ML-Rの0.791に向上し、マルチ損失と正則化の有効性が裏付けられた。
• Longformer-DOC-TOK-SEGがLongformer-DOCよりも顕著に優れた（p < 0.0001）ことから、性能向上は長文脈対応そのものではなく、マルチスケールモデリングに起因することが確認された。
• MSE、ランク損失（MR）、スコア分布損失（SIM）の共同使用により、最適化が改善され、よりロバストなスコア分布が得られ、アンサンブル性能が向上した。
• モデルは学習ドメインを超えて良好に汎化し、CommonLit Readability Prizeデータセットでも強力な結果を達成した。これは、長文タスクへの広範な適用可能性を示している。