[論文レビュー] Neural Multi-task Learning in Automated Assessment

Ronan Cummins, Marek Rei|arXiv (Cornell University)|Jan 21, 2018

Topic Modeling参考文献 11被引用数 14

ひとこと要約

本稿では、英語学習者（ESL）のライティングにおける文法的誤り検出（GED）と自動エッセイ採点（AES）を同時に学習するニューラルマルチタスク学習モデルを提案する。双方向LSTMを介して表現を共有し、両タスクを同時に最適化することで、AESの性能が顕著に向上し、QWKが0.459に達する。一方、GEDの性能はほとんど変化せず、エッセイの質が誤り検出に強く関連していることを示している。

ABSTRACT

Grammatical error detection and automated essay scoring are two tasks in the area of automated assessment. Traditionally these tasks have been treated independently with different machine learning models and features used for each task. In this paper, we develop a multi-task neural network model that jointly optimises for both tasks, and in particular we show that neural automated essay scoring can be significantly improved. We show that while the essay score provides little evidence to inform grammatical error detection, the essay score is highly influenced by error detection.

研究の動機と目的

• 文法的誤り検出（GED）と自動エッセイ採点（AES）を共同で学習することで、自動ライティング評価の性能が向上するかどうかを調査すること。
• GEDとAESがどの程度相互に依存しているかを特定すること。特に、エッセイの質の信号が誤り検出を改善するのか、あるいはその逆なのかを評価すること。
• GED、AES、言語モデル学習の目的関数を統合した1つのエンドツーエンドフレームワークとして実装されたニューラルマルチタスクモデルの開発と評価。
• GEDを訓練信号として組み込むことで、ESLライティングにおけるAES性能が向上するかどうかを評価すること。特に、公開のFCEデータセットにおいて検証する。

提案手法

• 全エッセイを順序付き入力として処理するため、双方向LSTMが使用され、両方向の隠れ状態を時系列にわたって平均化し、コンテキストベクトルを形成する。
• コンテキストベクトルは、2つの別々の出力ヘッドに供給される：1つは二値シーケンスラベル付け（GED）のため、もう1つはシグモイドスケーリング出力層を介して統合的エッセイスコア（AES）を予測するため。
• モデルは組み合わせ損失関数で訓練される：E = (1 - γ_aes)(E_ged + 0.1×E_lm) + γ_aes×E_aes、ここでγ_aesはGEDとAESの目的関数のバランスを制御する。
• 序列表現学習の向上を目的として、言語モデル学習が準教師あり補助目的として組み込まれる。
• ハイパーパrameter γ_aes は、開発セット上で0.0から1.0まで0.1刻みで調整され、タスク間の最適なトレードオフが見つかる。
• モデルの性能は、GEDにはF₀.₅、AESには二次加重 kappa（QWK）を用いて評価され、強力なベースラインニューラルAESモデル（NEA）と比較される。

実験結果

リサーチクエスチョン

• RQ1 文法的誤り検出と自動エッセイ採点を共同で学習することで、いずれのタスクの性能も向上するか？
• RQ2 エッセイスコアが文法的誤り検出に有用な監視信号を提供する程度はどの程度か？
• RQ3 誤り検出を信号として組み込むことで、自動エッセイ採点の性能にどのような影響を与えるか？
• RQ4 FCEデータセットにおいて、マルチタスクニューラルモデルはESLライティングのAESで単一タスクベースラインを上回る性能を示せるか？

主な発見

• GED目的関数の追加により、AES性能が顕著に向上し、言語モデルのみの状態（QWK 0.347）からGEDを含めた状態（QWK 0.459）にまで上昇した。これは統計的に有意な改善である。
• AESの最適なγ_aesハイパーパrameterは0.1であり、これはAES損失をGED損失よりも優先することでモデルが最も利益を得ることを示している。
• GEDに関しては、γ_aesの値にかかわらず性能はほとんど変化せず、AES目的を追加した際のF₀.₅はわずかに0.036上昇するにとどまり、エッセイスコアの信号が誤り検出にほとんど利益をもたらさないことを示している。
• 提案されたマルチタスクモデルは、FCEテストセットでQWK 0.459を達成し、NEAベースライン（300D埋め込みを用いた0.373）を大幅に上回った。
• モデルは、GED、言語モデル学習、AESの複数の訓練信号を1つのエンドツーエンドフレームワークに統合し、自動ライティング評価におけるマルチタスク学習の有効性を示した。