[論文レビュー] Getting too personal(ized): The importance of feature choice in online adaptive algorithms

Zhaobin Li, Luna Yee+4 more|arXiv (Cornell University)|Sep 6, 2023

Advanced Bandit Algorithms Research参考文献 22被引用数 7

ひとこと要約

この論文は、文脈付き多腕バンディット（MAB）パーソナライズに学生の特性を組み込むことがオンライン教育の適応システムに有益か有害かを検討し、特性が本当に最良のバージョンを影響する場合にのみ利益を示し、影響しない場合には偏見のリスクが生じることを示しています。

ABSTRACT

Digital educational technologies offer the potential to customize students' experiences and learn what works for which students, enhancing the technology as more students interact with it. We consider whether and when attempting to discover how to personalize has a cost, such as if the adaptation to personal information can delay the adoption of policies that benefit all students. We explore these issues in the context of using multi-armed bandit (MAB) algorithms to learn a policy for what version of an educational technology to present to each student, varying the relation between student characteristics and outcomes and also whether the algorithm is aware of these characteristics. Through simulations, we demonstrate that the inclusion of student characteristics for personalization can be beneficial when those characteristics are needed to learn the optimal action. In other scenarios, this inclusion decreases performance of the bandit algorithm. Moreover, including unneeded student characteristics can systematically disadvantage students with less common values for these characteristics. Our simulations do however suggest that real-time personalization will be helpful in particular real-world scenarios, and we illustrate this through case studies using existing experimental results in ASSISTments. Overall, our simulations show that adaptive personalization in educational technologies can be a double-edged sword: real-time adaptation improves student experiences in some contexts, but the slower adaptation and potentially discriminatory results mean that a more personalized model is not always beneficial.

研究の動機と目的

• オンライン教育技術における文脈付きMABを通じたパーソナライズが学生の成果に与える影響を評価する。
• 異なる成果モデル下で、学生特性を含めることで性能が改善されるか低下するかを評価する。
• 特性の不均等分布に起因する偏りと不公平のリスクを調査する。
• シミュレーション結果と実データを橋渡しし、教育設計における実務的含意を議論する。

提案手法

• 特徴を与えられた報酬確率をモデル化するために正則化されたベイズロジスティック回帰を用いた文脈的Thompsonサンプリングを使用する。
• 3つの成果生成モデル（ベースライン、普遍的最適アクション、個別最適アクション）をシミュレートする。
• 学習と後悔を評価するために文脈変数の数を1から最大10まで変化させる。
• クラスサイズ50、250、1000の3つの規模で各1000トライアルのホライズン効果を検討する。
• ANCOVAでパフォーマンスを分析し、効果量と信頼区間を報告する。

Figure 1: Swarm plots for the proportion of optimal actions for the two bandit types. Each point represents results from one trial with 250 students. For the universal optimal action, all scenarios show similar results; hence only scenario (1) is shown. The decreased performance of the contextual ba

実験結果

リサーチクエスチョン

• RQ1 文脈付きMABに学生特性を含める条件は、学習成果を改善するのか、それとも悪化させるのか。
• RQ2 文脈特徴の数は探索、学習速度、学生サブグループ間の公平性にどのような影響を与えるか。
• RQ3 パーソナライズが最も利益をもたらすのはいつで、潜在的な害や差別的影響はいつ生じるのか。
• RQ4 現実世界の特性分布は、パーソナライズの利点や欠点にどのように影響するか。
• RQ5 ASSISTmentsのケーススタディは、実践的な適応パーソナライズの実装にどんな示唆を与えるか。

主な発見

• 文脈付きMABは、最適なアクションが本当に学生の特徴に依存する場合に限り、非文脈的MABより優れている（個別最適アクションモデル）。
• 不要な特徴を含むと、特に多くの文脈変数がある場合、パフォーマンスが一般に低下し、探索コストが増大する。
• ベースラインおよび普遍的最適アクションのシナリオでは、文脈パーソナライズは非文脈的手法よりも劣る場合があり、特に初期ホライズンで顕著。
• 希少な特徴値に対する不確実性が高いため、マイノリティグループの規模が小さい場合、文脈パーソナライズはマイノリティグループを不均等に害する可能性がある。
• 限られた特徴でも、大規模なホライズンでは個別最適アクションモデルにおいてマイノリティグループの最適アクションの割合を著しく改善する可能性がある。
• ASSISTmentsデータを用いたケーススタディは、パーソナライズの現実世界での潜在的利益を示し、特徴の含め方について文脈とデータ駆動の意思決定を強調している。

Figure 2: Average reward per student across 1–10 contextual variables for the two bandit types in the baseline model. In this model, the maximum possible expected reward is $0.6$ , and the expected reward for uniform random assignment is $0.5$ . Error bars represent 1 standard error.