[論文レビュー] Deep Reinforcement Learning for Adaptive Learning Systems

Xiao Li, Hanchen Xu+2 more|arXiv (Cornell University)|Apr 17, 2020

Reinforcement Learning in Robotics参考文献 46被引用数 4

ひとこと要約

本稿では、連続的な潜在的特徴を有するマルコフ意思決定過程として適応学習を定式化し、神経ネットワークに基づく遷移モデル推定器を用いて強化学習の性能を向上させたモデルフリーのディープQ学習アルゴリズムを提案する。この手法は、限られたデータからも最適な個別化された学習方針を学習可能であり、200名程度の学習者でさえも効果的に学習可能である。

ABSTRACT

In this paper, we formulate the adaptive learning problem---the problem of how to find an individualized learning plan (called policy) that chooses the most appropriate learning materials based on learner's latent traits---faced in adaptive learning systems as a Markov decision process (MDP). We assume latent traits to be continuous with an unknown transition model. We apply a model-free deep reinforcement learning algorithm---the deep Q-learning algorithm---that can effectively find the optimal learning policy from data on learners' learning process without knowing the actual transition model of the learners' continuous latent traits. To efficiently utilize available data, we also develop a transition model estimator that emulates the learner's learning process using neural networks. The transition model estimator can be used in the deep Q-learning algorithm so that it can more efficiently discover the optimal learning policy for a learner. Numerical simulation studies verify that the proposed algorithm is very efficient in finding a good learning policy, especially with the aid of a transition model estimator, it can find the optimal learning policy after training using a small number of learners.

研究の動機と目的

• 連続的な潜在的特徴を有する適応型学習システムにおいて、最適な個別化された学習方針を学習する課題に対処すること。
• モデルフリーDRLの低データ環境下での限界を克服するため、データ効率の高い遷移モデル推定器を導入すること。
• 学習済みの遷移モデルからの合成的ロールアウトを用いて、適応学習のためのディープQネットワークのトレーニングにおけるデータ使用効率を向上させること。
• 提案手法が、目標到達水準に到達するまでの学習ステップ数を最小化する観点で、ヒューリスティック法およびランダム方針を上回ることを示すこと。
• 教師の監視や大規模な歴史的データセットを必要とせずに、スケーラブルで個別化された学習を可能にすること。

提案手法

• 連続的な潜在的特徴を状態とし、学習教材を行動とするマルコフ意思決定過程（MDP）として適応学習問題を定式化する。
• 状態遷移ダイナミクスの事前知識が不要であるため、モデルフリーのディープQ学習（DQN）アルゴリズムを適用して最適方針を学習する。
• 過去のデータから学習者進捗をシミュレートできる、ニューラルネットワークベースの遷移モデル推定器を開発する。
• 訓練済みの遷移モデル推定器を用いて合成的ロールアウトを生成し、データ拡張によってDQNのトレーニングをより効率的に行う。
• 実際の相互作用データと、遷移モデルから得た合成的軌道の両方を用いてDQNを訓練することで、方針の一般化性能とデータ使用効率を向上させる。
• 測定モデル（例：IRTに類似）を用いて、学習者応答から連続的な潜在的特徴を推定し、状態表現を形成する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、連続的な潜在的特徴を有する適応型学習システムにおいて、最適な学習方針を効果的に学習できるか？
• RQ2 学習済みの遷移モデル推定器を統合することで、DRLベースの適応学習におけるデータ使用効率はどの程度向上するか？
• RQ3 提案手法は、収束速度および最終的性能の観点で、ヒューリスティック法およびランダム方針をどの程度上回るか？
• RQ4 実際の学習者の数が増加するにつれて、DQN方針の性能はどのように変化するか？
• RQ5 わずか数名の実際の学習者しか利用できない状況でも、遷移モデル推定器は有効な方針学習を可能にするか？

主な発見

• 遷移モデル推定器を備えた提案手法は、200名未満の実際の学習者でさえも、それらを備えないベースラインDQNに比べて顕著に高い平均報酬を達成した。
• 200名までの実際の学習者で、遷移モデルを用いた仮想DQN（合成的データで訓練）が、実データでのみ訓練された実DQNを上回り、優れたデータ使用効率を示した。
• 実際の学習者が200名を超えると、仮想DQNおよび実DQNの両方の性能が、ほぼ同等の最適な性能水準に収束した。
• DQNベースの方針は、常にヒューリスティック法およびランダム戦略を上回り、目標到達水準に到達するまでの学習ステップ数を削減した。
• 遷移モデル推定器は、学習者進捗のダイナミクスを効果的に捉えており、高品質な合成的ロールアウトを生成し、DQNのトレーニングを強化した。
• 遷移モデル推定器の統合により、少数の学習者でのトレーニング後でも、近似的に最適な学習方針を発見できるようになった。