[論文レビュー] Prescribing Deep Attentive Score Prediction Attracts Improved Student Engagement

Youngnam Lee, Byung‐Soo Kim+5 more|arXiv (Cornell University)|Apr 27, 2020

Intelligent Tutoring Systems and Adaptive Learning参考文献 29被引用数 4

ひとこと要約

本研究では、TOEIC試験対策向けマルチプラットフォーム型知的チューティングシステム（Santa）において、スコア予測のためのディープアテンションニューラルネットワークモデルの影響を評価し、より高い予測精度が学生の関与度を著しく向上させることを示した。78万ユーザーを対象としたA/Bテストの結果、平均絶対誤差（MAE）は協調フィルタリング手法の78.9から49.8に低下し、購入率は15.19%上昇（22.73対20.03）、平均回答問題数は22.73問に増加、合計利益は13%増加した。これにより、正確なスコア予測が動機付けと能動的関与の両方を高めることを実証した。

ABSTRACT

Intelligent Tutoring Systems (ITSs) have been developed to provide students with personalized learning experiences by adaptively generating learning paths optimized for each individual. Within the vast scope of ITS, score prediction stands out as an area of study that enables students to construct individually realistic goals based on their current position. Via the expected score provided by the ITS, a student can instantaneously compare one's expected score to one's actual score, which directly corresponds to the reliability that the ITS can instill. In other words, refining the precision of predicted scores strictly correlates to the level of confidence that a student may have with an ITS, which will evidently ensue improved student engagement. However, previous studies have solely concentrated on improving the performance of a prediction model, largely lacking focus on the benefits generated by its practical application. In this paper, we demonstrate that the accuracy of the score prediction model deployed in a real-world setting significantly impacts user engagement by providing empirical evidence. To that end, we apply a state-of-the-art deep attentive neural network-based score prediction model to Santa, a multi-platform English ITS with approximately 780K users in South Korea that exclusively focuses on the TOEIC (Test of English for International Communications) standardized examinations. We run a controlled A/B test on the ITS with two models, respectively based on collaborative filtering and deep attentive neural networks, to verify whether the more accurate model engenders any student engagement. The results conclude that the attentive model not only induces high student morale (e.g. higher diagnostic test completion ratio, number of questions answered, etc.) but also encourages active engagement (e.g. higher purchase rate, improved total profit, etc.) on Santa.

研究の動機と目的

• 知的チューティングシステム（ITS）におけるスコア予測精度の向上が、学生の関与度を高めるかどうかを調査すること。
• 最先端のディープアテンションニューラルネットワークモデルと従来の協調フィルタリング手法を比較し、ユーザ行動に与える実世界的影響を評価すること。
• 予測精度と完了率、購入、収益といった測定可能な関与指標との間の因果関係を数量化すること。
• 高い予測信頼性が教育AIシステムにおけるユーザの信頼と動機付けを高めることを実証的根拠で示すこと。

提案手法

• 韓国で約78万ユーザーを有する、TOEIC試験対策向けマルチプラットフォーム型ITS「Santa」において、制御されたA/Bテストを実施した。
• 2つのスコア予測モデルを導入した：1つは協調フィルタリング（MAE = 78.9）、もう1つはディープアテンションニューラルネットワーク（MAE = 49.8）。
• ディープアテンションモデルは、事前学習／ファインチューニングのアプローチを採用した。まず、反応の正誤とタイムリーさを事前学習し、その後、Transformerベースのアーキテクチャを用いて試験スコア予測にファインチューニングした。
• モデルはアテンションメカニズムを用いて、学習履歴の長距離依存関係を捉え、知識状態の表現を向上させた。
• ユーザー行動は、診断テスト完了率、会員登録、回答問題数、購入率、ARPU、合計利益といった複数の関与指標でモニタリングされた。
• すべての財務指標は、モデルのパラメータ比に基づいて正規化され、公平な比較が保証された。

実験結果

リサーチクエスチョン

• RQ1 より正確なスコア予測モデルは、ITSにおける学生の動機付けを高めるか？
• RQ2 予測精度の向上が、購入意思決定などの能動的関与にどの程度影響を与えるか？
• RQ3 ディープアテンションニューラルネットワークモデルは、実世界の関与度指標において協調フィルタリングを上回るか？
• RQ4 予測信頼性とユーザーレテンションまたは収益創出の間に、測定可能な因果関係があるか？

主な発見

• ディープアテンションモデルは平均絶対誤差（MAE）49.8を達成し、協調フィルタリングモデルのMAE 78.9よりも顕著に低かった。
• 診断テスト完了率は、ディープアテンションモデルで65.90%、協調フィルタリングモデルで64.93%であり、動機付けの向上が示された。
• 会員登録（会員登録）率は、ディープアテンションモデルで44.55%、協調フィルタリングモデルで43.13%であった。
• ディープアテンションモデルのユーザーは診断テスト後、平均22.73問の問題に回答したのに対し、協調フィルタリングモデルでは20.03問であった。
• ディープアテンションモデルでは購入率が15.19%上昇し、2.73%（協調フィルタリングモデルは2.37%）であった。
• 合計利益は、ディープアテンションモデルで162,933.88ドル、協調フィルタリングモデルで142,949.55ドルであり、正規化後13%の増加が確認された。