[論文レビュー] Creating A Neural Pedagogical Agent by Jointly Learning to Review and Assess

Youngnam Lee, Youngduck Choi+7 more|arXiv (Cornell University)|Jun 26, 2019

Topic Modeling参考文献 29被引用数 15

ひとこと要約

本論文では、埋め込み表現された質問-回答ペairを用いた注意機構を備えた双方向LSTMを用いて、リアルタイムでユーザーの回答をレビューおよび評価する神経系学習支援エージェントを提案する。559,000人のユーザーを有するモバイル英語学習プラットフォーム上で、新規ユーザーに対しても特に優れた応答正答率予測性能を示し、学習された注意機構を活用することで解釈可能でタグベースの問題推薦を可能にした。

ABSTRACT

Machine learning plays an increasing role in intelligent tutoring systems as both the amount of data available and specialization among students grow. Nowadays, these systems are frequently deployed on mobile applications. Users on such mobile education platforms are dynamic, frequently being added, accessing the application with varying levels of focus, and changing while using the service. The education material itself, on the other hand, is often static and is an exhaustible resource whose use in tasks such as problem recommendation must be optimized. The ability to update user models with respect to educational material in real-time is thus essential; however, existing approaches require time-consuming re-training of user features whenever new data is added. In this paper, we introduce a neural pedagogical agent for real-time user modeling in the task of predicting user response correctness, a central task for mobile education applications. Our model, inspired by work in natural language processing on sequence modeling and machine translation, updates user features in real-time via bidirectional recurrent neural networks with an attention mechanism over embedded question-response pairs. We experiment on the mobile education application SantaTOEIC, which has 559k users, 66M response data points as well as a set of 10k study problems each expert-annotated with topic tags and gathered since 2016. Our model outperforms existing approaches over several metrics in predicting user response correctness, notably out-performing other methods on new users without large question-response histories. Additionally, our attention mechanism and annotated tag set allow us to create an interpretable education platform, with a smart review system that addresses the aforementioned issue of varied user attention and problem exhaustion.

研究の動機と目的

• ユーザー行動が動的でかつ大量のデータが得られるモバイル教育プラットフォームにおけるリアルタイムのユーザーモデリングの課題に対処すること。
• 新規データの到着時に再トレーニングが必要なコストがかかるため、協調フィルタリングや行列分解の限界を克服すること。
• 固定されたアイテム特徴と動的に更新されるユーザーレプリゼンテーションを用いて、ユーザーナレッジ状態を効率的にモデル化するシステムの開発。
• トピックタグと注意機構を活用することで、解釈可能でパーソナライズされた問題推薦を可能にすること。

提案手法

• モデルは、ユーザーの応答と質問の系列を符号化するために双方向再帰ニューラルネットワーク（Bi-LSTM）を用い、学習行動における時間的依存性を捉える。
• 将来の正答率を予測する際に、過去の問題の関連性を動的に重みづけるために、埋め込み表現された質問-回答ペアに対する注意機構を採用する。
• 各応答後にユーザーフィーチャーをリアルタイムで更新し、データの取り込みに伴う完全なモデル再トレーニングの必要性を回避する。
• 6600万件の応答記録と10,000件のトピックアノテート済み問題を含む大規模なモバイル教育データセット（SantaTOEIC）上で、エンドツーエンドにモデルをトレーニングする。
• 注意機構は専門家がアノテートしたトピックタグに従い、意味的類似性に基づいた解釈可能な推薦を可能にする。
• 標準指標（F1スコア、AUC、正答率）を用いてアーキテクチャを評価し、Bi-LSTMおよび注意機構のバリエーションに関するアブレーションスタディを実施。

実験結果

リサーチクエスチョン

• RQ1 神経モデルは、再トレーニングを伴わずにリアルタイムで応答の評価とレビューを同時に学習し、予測精度を向上させることができるか？
• RQ2 注意機構は、トピックタグ類似度と一致することで、問題推薦における解釈可能性をどのように向上させるか？
• RQ3 本モデルは、応答履歴が限られたユーザーに対しても、既存手法よりも優れた性能を維持するか？
• RQ4 双方向LSTMと注意機構は、動的ユーザーモデリングにおける予測性能にどのように寄与するか？
• RQ5 ドット積型と加法型の異なる注意機構（dot-product vs. additive）は、モデルのパフォーマンスと安定性にどのように影響するか？

主な発見

• 提案モデルは、MF、MLP、NeuMF、RRN、AutoRec、DeepRecを含むすべてのベースラインを上回り、F1スコア0.8114を達成した。
• 他のモデルが少なくとも64件の応答を必要とするのに対し、本モデルはたった44件の応答でF1スコア0.7に到達した。
• 注意機構はトピックタグ一致率と強く相関しており、上位50件の推薦問題では65–76%のタグ一致率を示した。
• アブレーションスタディにより、パrameter数が同程度でも、Bi-LSTMが通常のLSTMおよび全結合層を上回ることが確認された。
• 注意機構は性能向上に有意に寄与しており、ドット積型と加法型の注意機構はF1スコア0.8113–0.8114というほぼ同一の結果を示した。
• 応答履歴が最小限の新規ユーザーに対しても本モデルは頑健であることが示され、リアルタイムかつスケーラブルなモバイル教育プラットフォームに適していることが強調された。