[論文レビュー] Machine Teaching of Active Sequential Learners

Tomi Peltola, Mustafa Mert Çelikok+2 more|arXiv (Cornell University)|Sep 8, 2018

Advanced Bandit Algorithms Research被引用数 12

ひとこと要約

本論文は、マルチアームドバンディットなどのアクティブな逐次学習者を対象として、教師が質問に応じて応答を計画するマーカフ決定過程（MDP）として機械学習を定式化する。教師の計画的応答と、教師の意図をモデル化する学習者の両方が、シミュレーションおよびユーザースタディにおいて学習効率を著しく向上させることを示し、インタラクティブなAIシステムにおける再帰的マインド理論の価値を実証する。

ABSTRACT

Machine teaching addresses the problem of finding the best training data that can guide a learning algorithm to a target model with minimal effort. In conventional settings, a teacher provides data that are consistent with the true data distribution. However, for sequential learners which actively choose their queries, such as multi-armed bandits and active learners, the teacher can only provide responses to the learner's queries, not design the full data. In this setting, consistent teachers can be sub-optimal for finite horizons. We formulate this sequential teaching problem, which current techniques in machine teaching do not address, as a Markov decision process, with the dynamics nesting a model of the learner and the actions being the teacher's responses. Furthermore, we address the complementary problem of learning from a teacher that plans: to recognise the teaching intent of the responses, the learner is endowed with a model of the teacher. We test the formulation with multi-armed bandit learners in simulated experiments and a user study. The results show that learning is improved by (i) planning teaching and (ii) the learner having a model of the teacher. The approach gives tools to taking into account strategic (planning) behaviour of users of interactive intelligent systems, such as recommendation engines, by considering them as boundedly optimal teachers.

研究の動機と目的

• バッチデータではなく段階的に教師に質問するアクティブな逐次学習者に対する機械学習のギャップを埋める。
• 固定分布に従うデータを提供するのではなく、最適な応答を段階的に選択する戦略的プランナとして教師をモデル化する。
• 教師を境界的最適なプランナとしてモデル化することで、学習者が教師の意図を認識できるようにする。
• 実世界のデータセット（Word, Wine, Leaf）を用いたシミュレーションと、10名の参加者が関与する15質問のインタラクションタスクを用いたユーザースタディにより、アプローチを実証的に検証する。

提案手法

• 教師の応答選択を、行動が学習者の信念に応じた応答であり、状態が学習者の信念を符号化するマーカフ決定過程（MDP）として定式化する。
• 温度パラメータを用いて境界的合理なプランナとして教師をモデル化し、学習者を的確に目標モデルへ導く応答を最適化する。
• 教師の応答から逆強化学習を可能にするために、学習者に教師の確率的モデルを備えさせ、教師の意図を推論可能にする。
• ベイジアン・ベルヌーイ型マルチアームドバンディットを用い、学習者の信念更新プロセスをモデル化する。
• ネストされた推論構造を採用：学習者は、教師をモデル化するが、その教師自身は、教えることを意識しない学習者をモデル化する。これにより、再帰的マインド理論の推論が可能になる。
• 実世界のデータセット（Word, Wine, Leaf）を用いたシミュレーションと、15質問のインタラクションタスクに10名の参加者が関与するユーザースタディにより、フレームワークを検証する。

実験結果

リサーチクエスチョン

• RQ1 バッチデータではなく段階的に教師に質問するアクティブな逐次学習者に、機械学習を効果的に拡張できるか？
• RQ2 教師の応答選択における計画的行動は、非計画的または一貫性のある教師と比較して、学習効率をどのように向上させるか？
• RQ3 教師の戦略的行動をモデル化する学習者は、単純な学習者と比較して、より速く正確に学習できるか？
• RQ4 教師を境界的最適なプランナとしてモデル化することで、インタラクティブな環境における学習パフォーマンスはどの程度向上するか？
• RQ5 教師の計画的行動と、学習者が教師をモデル化するという組み合わせは、実際の人間-AIインタラクションにおいて測定可能な向上をもたらすか？

主な発見

• ユーザースタディでは、学習者が教師をモデル化する混合モデルが、12問目までに単純モデルよりも有意に高い累積報酬を達成した（p < 0.05）。
• シミュレーション実験では、計画的教師が非計画的教師を上回り、教師が著しく非効率的（例：β = 5 や 10）になると性能劣化が観察された。
• Word, Wine Quality, Leaf などの複数のデータセットにおいて、学習効率が向上し、累積報酬の増加と収束の高速化が一貫して観察された。
• 混合モデルにおける1ステップの計画ホライズン（T=1）が単純モデルを上回るパフォーマンスを示し、教師の意図をモデル化することの価値を実証した。
• 再現実験により、異なる関連性プロファイルやアーム数（例：500アーム）においても、本フレームワークが一貫した改善を示すことが確認された。