[論文レビュー] Personalized Recommendations in EdTech: Evidence from a Randomized Controlled Trial

Keshav Agrawal, Susan Athey+2 more|arXiv (Cornell University)|Aug 30, 2022

Recommender Systems and Techniques被引用数 10

ひとこと要約

本研究では、インドの子どもたちが英語の読解力を学ぶためのEdTechアプリにおいて、無作為化比較試験（RCT）を用いてパーソナライズドコンテンツ推薦の有効性を評価した。ユーザーの好みとインタラクション履歴に基づき、行列分解モデルを用いてストーリーの推薦を最適化した結果、パーソナライズドセクションの関与度は60%上昇し、全体のアプリ利用時間も14%増加した。特に、頻繁に利用するユーザーおよびニッチコンテンツを好むユーザーが最も大きな利益を得た。

ABSTRACT

We study the impact of personalized content recommendations on the usage of an educational app for children. In a randomized controlled trial, we show that the introduction of personalized recommendations increases the consumption of content in the personalized section of the app by approximately 60%. We further show that the overall app usage increases by 14%, compared to the baseline system where human content editors select stories for all students at a given grade level. The magnitude of individual gains from personalized content increases with the amount of data available about a student and with preferences for niche content: heavy users with long histories of content interactions who prefer niche content benefit more than infrequent, newer users who like popular content. To facilitate the move to personalized recommendation systems from a simpler system, we describe how we make important design decisions, such as comparing alternative models using offline metrics and choosing the right target audience.

研究の動機と目的

• 実世界のEdTechアプリにおいて、パーソナライズドコンテンツ推薦がユーザーの関与度に与える影響を評価すること。
• パーソナライズド推薦が、人間による編集者による編集コンテンツよりもアプリ利用を促進するかどうかを評価すること。
• 特に利用頻度やコンテンツ好みに基づくユーザーのサブグループごとの処置効果の異質性を理解すること。
• 低データ環境における教育的応用を想定した、パーソナライズド推薦システムの設計および展開の実用的フレームワークを提供すること。
• 学習成果の長期的指標が測定困難な状況において、関与度最適化と学習成果の間のトレードオフを検討すること。

提案手法

• 2週間の無作為化比較試験（RCT）を実施し、処置群はパーソナライズド推薦を受け、対照群は編集者によるキュレーションコンテンツを受けた。
• ユーザーのインタラクション履歴と好みに基づき、行列分解モデルを用いてパーソナライズドストーリー推薦を生成した。
• インプレッション頻度に基づきストーリーの人気度バケットを構築し、ユーザーの属性（学年、タイプ、過去の利用状況）を補正するための線形回帰を用いて、処置効果を隔離した。
• 時間経過と完了率を反映する複合指標「ストーリー関与度」を用いて、さまざまなユーザーおよびコンテンツサブグループにおける関与度を測定した。
• 展開前のモデル選定を支援するため、RMSEやAUCなどの指標を用いてオフラインモデルのパフォーマンスを評価した。
• パーソナライズドセクションの利用増加が、合計の関与度にネットでプラスの効果をもたらすかどうかを評価するため、全体のアプリ利用時間への影響を測定した。

実験結果

リサーチクエスチョン

• RQ1 パーソナライズドコンテンツ推薦は、編集者キュレーションコンテンツと比較して、教育的アプリにおけるユーザー関与度を向上させるか？
• RQ2 利用パターンやコンテンツ好みが異なるユーザーのサブグループでは、処置効果にどのような差が生じるか？
• RQ3 パーソナライズド推薦は、人気のあるコンテンツと比較して、ニッチコンテンツの関与度をどの程度向上させるか？
• RQ4 低データEdTech環境に適した効果的な推薦システムを展開するにあたり、どのような設計選択と評価手法が重要か？
• RQ5 学習指標が測定困難な状況において、関与度指向の推薦が学習成果の代替指標として有効に機能するか？

主な発見

• パーソナライズド推薦により、対象コンテンツセクションの関与度が60%上昇した（p < 0.05、標準誤差17%）。
• 処置群では編集者ベースラインと比較して、全体のアプリ利用時間が14%増加し、関与度のネット増加効果が確認された。
• 広範なインタラクション履歴を持つハイユーザーは、好みのモデリングがより良好であったため、パーソナライズド推薦による利益が顕著に大きかった。
• 実験前からニッチコンテンツを好んでいたユーザーは、パーソナライズド推薦による相対的利点が最も高かった。これは、人気のないストーリーの発見を可能にした。
• 過去の人気度が低くても、処置効果が顕著に見られたことから、パーソナライズド推薦がニッチコンテンツを効果的に浮き彫りにしていることが示された。
• ユーザーのインタラクションデータが増えるほど、モデルのパフォーマンスと推薦品質が向上したため、新規ユーザーおよび新規ストーリーに対しては限界が見られた。