[論文レビュー] An Iterative Transfer Learning Based Ensemble Technique for Automatic Short Answer Grading

Shourya Roy, Himanshu S. Bhatt+1 more|arXiv (Cornell University)|Sep 16, 2016

Topic Modeling参考文献 36被引用数 13

ひとこと要約

本論文は、テキスト分類器（TF-IDFを用いる）と数値類似度分類器（モデル回答との類似度メトリクスに基づく）を組み合わせた反復的で転移学習に基づくアンサンブルモデルを、自動短回答採点（ASAG）のために提案する。正準相関分析（CCA）を用いた転移学習により、ターゲットの質問に対するラベル付きデータを必要とせずにSemEval-2013 SciEduデータセットで最先端の性能を達成し、ラベル付きデータを必要としないすべての優勝した教師ありエントリーよりも優れた性能を発揮した。

ABSTRACT

Automatic short answer grading (ASAG) techniques are designed to automatically assess short answers to questions in natural language, having a length of a few words to a few sentences. Supervised ASAG techniques have been demonstrated to be effective but suffer from a couple of key practical limitations. They are greatly reliant on instructor provided model answers and need labeled training data in the form of graded student answers for every assessment task. To overcome these, in this paper, we introduce an ASAG technique with two novel features. We propose an iterative technique on an ensemble of (a) a text classifier of student answers and (b) a classifier using numeric features derived from various similarity measures with respect to model answers. Second, we employ canonical correlation analysis based transfer learning on a common feature representation to build the classifier ensemble for questions having no labelled data. The proposed technique handsomely beats all winning supervised entries on the SCIENTSBANK dataset from the Student Response Analysis task of SemEval 2013. Additionally, we demonstrate generalizability and benefits of the proposed technique through evaluation on multiple ASAG datasets from different subject topics and standards.

研究の動機と目的

• 各評価タスクごとにラベル付き学習データとモデル回答を必要とする教師ありASAG手法の実用的制限を克服すること。
• 多様な教科分野や採点基準に一般化可能な、データ効率的で頑健なASAG技術を開発すること。
• ターゲットの質問に対してラベル付きの学生回答が存在しない場合でも、効果的な自動採点を可能にすること。
• 教師ありASAGにおける転移学習の実現可能性と有効性を検討し、膨大なラベル付きデータへの依存度を低減すること。

提案手法

• 学生の回答で訓練されたTF-IDFベースのテキスト分類器と、学生回答とモデル回答間の類似度メトリクス（例：F1、コサイン類似度、Lesk）を用いた数値類似度分類器の2つの補完的分類器を統合する。
• ソースとターゲットの質問間で共有される低次元特徴空間を学習するために正準相関分析（CCA）を用い、転移学習を実現する。
• 両方の分類器の予測の一貫性に基づいて重みを再調整することで、アンサンブル分類器を反復的に改善するプロセスを採用する。
• ターゲットの質問にラベル付きデータが存在しない場合でも、データセット内の他の20の質問からの知識を用いて、ターゲットの質問用分類器を初期化することで、転移学習を実装する。
• 両方の分類器からの予測を学習された重みを用いて組み合わせる重み付きアンサンブル戦略を採用し、モデルの頑健性を向上させる。
• 留数交差検証を用いて性能を検証し、複数のデータセットおよび異なる採点粒度における一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 テキスト類似度分類器と数値類似度分類器のアンサンブルは、単一モデルアプローチを上回る自動短回答採点を実現できるか？
• RQ2 正準相関分析（CCA）に基づく転移学習は、ラベル付きデータが存在しない新しい質問に対してゼロショットまたはフェイワショットASAGを実現するのにどの程度効果的か？
• RQ3 反復的改善プロセスは、多様な質問タイプや教科分野において、モデルの収束性と予測精度を向上させるか？
• RQ4 採点基準の粒度（例：2クラス vs. 11クラス）は、提案された転移学習ベースのASAGフレームワークの性能にどのように影響するか？

主な発見

• 提案手法は、SemEval-2013 SciEduデータセットで、すべての優勝した教師ありエントリーよりも優れた性能を発揮し、自動短回答採点分野で最高の結果を達成した。
• CSDデータセットでは、ベース分類器にロジスティック回帰を用いた場合、平均絶対誤差（MAE）が1.07にまで低下し、LDA（MAE=1.63）やAdaBoost（MAE=1.58）を著しく上回った。
• 反復的アルゴリズムは、大多数の質問で5〜6回の反復で収束したため、安定的で効率的な学習ダイナミクスを示した。
• 採点基準が粗いほど性能が向上した：11クラス（0.5ステップ）から2クラス（正誤）に変更した際、MAEが低下し、データが疎な状況下でもより良い一般化性能を示した。
• ベンチマーク以外の複数のASAGデータセットを用いた評価により、異なる教科分野や採点基準においても、良好な一般化性能を示した。
• 最小限のラベル付きデータでも効果的であることが示された。CCAに基づく特徴の整合化により、強力な転移学習能力を有していることが確認された。