[論文レビュー] Happy Are Those Who Grade without Seeing: A Multi-Task Learning Approach to Grade Essays Using Gaze Behaviour

Sandeep Mathias, Rudra Murthy+3 more|arXiv (Cornell University)|May 25, 2020

Visual and Cognitive Learning Processes参考文献 25被引用数 5

ひとこと要約

本論文では、少数のエッセイからの注視行動データを活用して、大多数のエッセイに対して注視データが入手できない状況下でも、自動エッセイ採点（AEG）を改善するマルチタスク学習フレームワークを提案する。注視行動とエッセイスコアの両方を同時に学習することで、見られる・見られない両方のエッセイセットで統計的に有意な性能向上を達成し、QWK（重み付きケンドールの順位相関係数）で最大0.0137の向上を実現した。これは、ドメインを越えて注視行動のパターンが一般化可能であることを示している。

ABSTRACT

The gaze behaviour of a reader is helpful in solving several NLP tasks such as automatic essay grading. However, collecting gaze behaviour from readers is costly in terms of time and money. In this paper, we propose a way to improve automatic essay grading using gaze behaviour, which is learnt at run time using a multi-task learning framework. To demonstrate the efficacy of this multi-task learning based approach to automatic essay grading, we collect gaze behaviour for 48 essays across 4 essay sets, and learn gaze behaviour for the rest of the essays, numbering over 7000 essays. Using the learnt gaze behaviour, we can achieve a statistically significant improvement in performance over the state-of-the-art system for the essay sets where we have gaze data. We also achieve a statistically significant improvement for 4 other essay sets, numbering about 6000 essays, where we have no gaze behaviour data available. Our approach establishes that learning gaze behaviour improves automatic essay grading.

研究の動機と目的

• 自動エッセイ採点のための注視行動データ収集コストを低減するため、少数のエッセイから注視行動パターンを学習すること。
• マルチタスク学習フレームワークにおいて注視行動を補助タスクとして用いて、AEGの性能を向上させること。
• 少数のエッセイから学習した注視行動パターンが、注視データなしの未学習エッセイセットへ一般化可能かどうかを評価すること。
• 今後の研究を支援するため、新規の注視行動データセットとコードを公開すること。

提案手法

• 眼動追跡装置を用いて、4つのエッセイセットにまたがる48件のエッセイから注視行動データを収集し、関心領域、凝視、移動（前進・後退）を焦点とする。
• 注視時間、初回凝視時間、後退の有無、スキップ回数、走行回数などの注視行動特徴量を定義し、入力表現として用いる。
• 共有表現を用いて、エッセイスコア予測（主タスク）と注視行動予測（補助タスク）を同時に最適化するマルチタスク学習モデルを訓練する。
• 同じモデルアーキテクチャを用いて、注視データのない4つの追加エッセイセットに合計7,000件以上のエッセイへ、学習済みの注視行動パターンを転送する。
• アブレーションスタディを実施し、個々の注視特徴量が全体の性能に与える寄与度を評価する。
• 評価指標として重み付きケンドールの順位相関係数（QWK）を用い、ストリングカーネルベースのモデルなど、ベースラインシステムと比較する。

実験結果

リサーチクエスチョン

• RQ1 少数のエッセイから学習した注視行動パターンは、より大きな未学習エッセイセットにおける自動エッセイ採点性能を向上させることができるか？
• RQ2 どの注視行動特徴量がエッセイスコア予測性能の向上に最も寄与しているか？
• RQ3 ネイティブイングリッシュスピーカーの注視行動データを用いることで、非ネイティブスピーカーのデータを用いる場合よりも高い性能が得られるか？
• RQ4 マルチタスク学習フレームワークは、異なるエッセイの課題やドメイン間で注視行動の知識を効果的に転送できるか？

主な発見

• 提案されたマルチタスク学習モデルは、48件のエッセイからの注視データと転送された注視行動を併用した場合、未学習エッセイセットで平均QWK 0.771を達成し、ベースラインシステムを統計的に有意に上回った（p < 0.05）。
• 注視時間（Dwell Time）と初回凝視時間（First Fixation Duration）の特徴量が最も寄与しており、それぞれQWKで0.0137および0.0136の向上を示した（アブレーション時）。
• ネイティブイングリッシュスピーカーの注視行動データのみを用いた場合、学習済みセットで平均QWK 0.779、未学習セットで0.748を達成し、注視データなしの条件と比較して統計的に有意な向上（p = 0.0084）を示した。
• 未学習エッセイセットにおいても統計的に有意な向上（p < 0.05）を示したため、注視行動パターンがドメインを越えて一般化可能であることが実証された。
• すべての注視特徴量の正規化平均二乗誤差（MSE）は、一貫して0.125から0.128の間で推移し、特徴量学習の安定性と信頼性を示している。
• ストリングカーネルベースのシステム（学習済みセットでQWK = 0.750）を上回り、未学習セットでもQWK 0.685を達成した。これは、注視行動を統合した学習の優位性を示している。