[論文レビュー] Using Machine Teaching to Investigate Human Assumptions when Teaching Reinforcement Learners

Yun‐Shiuan Chuang, Xuezhou Zhang+4 more|arXiv (Cornell University)|Sep 5, 2020

Reinforcement Learning in Robotics参考文献 32被引用数 6

ひとこと要約

本稿は、探索・活用タスクにおける評価的フィードバックを用いたQ学習エージェントの教示方法について、人間がどのように教えるかを調査し、これをマシン教示問題としてフレーミングする。人間は、割引率γ=0の低く、学習率α=0.9の高いエージェントを、予測可能で短期的制御可能な学習者を仮定することで、非最適ではあるが効果的に教える。また、リアルタイムでのフィードバック可視化は、教示効率の向上に弱い影響しか与えないことがわかった。

ABSTRACT

Successful teaching requires an assumption of how the learner learns - how the learner uses experiences from the world to update their internal states. We investigate what expectations people have about a learner when they teach them in an online manner using rewards and punishment. We focus on a common reinforcement learning method, Q-learning, and examine what assumptions people have using a behavioral experiment. To do so, we first establish a normative standard, by formulating the problem as a machine teaching optimization problem. To solve the machine teaching optimization problem, we use a deep learning approximation method which simulates learners in the environment and learns to predict how feedback affects the learner's internal states. What do people assume about a learner's learning and discount rates when they teach them an idealized exploration-exploitation task? In a behavioral experiment, we find that people can teach the task to Q-learners in a relatively efficient and effective manner when the learner uses a small value for its discounting rate and a large value for its learning rate. However, they still are suboptimal. We also find that providing people with real-time updates of how possible feedback would affect the Q-learner's internal states weakly helps them teach. Our results reveal how people teach using evaluative feedback and provide guidance for how engineers should design machine agents in a manner that is intuitive for people.

研究の動機と目的

• 評価的フィードバックを用いてQ学習エージェントを教える際の人間の教示戦略を理解すること。
• オンライン教示における評価的フィードバックの下で、人間が学習者のダイナミクスについてどのような仮定をしているかを特定すること。
• リアルタイムでのフィードバック可視化が教示効果を向上させるかどうかを評価すること。
• Q学習エージェントの最適教示をノーマティブ基準としてモデル化するマシン教示フレームワークを構築すること。
• 人間の教示期待に合わせてパrameterを調整することで、人間フレンドリーな強化学習エージェントの設計を支援すること。

提案手法

• 教示タスクをマシン教示最適化問題として定式化し、教師の目的を方策収束までのステップ数を最小化することにモデル化した。
• 深層学習を用いて逆教示プロセスを近似し、フィードバックがQ学習エージェントの内部状態に与える影響をシミュレートした。
• 探索と活用を要するグリッドワールド環境で、人間参加者がQ学習エージェントを教示する行動実験を設計した。
• 教示のしやすさをテストするために、Q学習エージェントのハイパーパrameter（γおよびα）を変化させた。
• 参加者がリアルタイムでのQ値更新を可視化できるホワイトボックス条件を実装し、教示効率への影響を評価した。
• 順列検定を実施し、人間の教示戦略が時間経過とともに適応しているかどうかを評価した。

実験結果

リサーチクエスチョン

• RQ1 人間の教師は、評価的フィードバックによる教示において、Q学習エージェントの学習率と割引率についてどのような仮定をしているか？
• RQ2 教示効率という観点から、人間の教示戦略は最適なマシン教示アルゴリズムと比べてどの程度の性能を示すか？
• RQ3 報酬がQ値にどのように影響するかをリアルタイムで可視化することで、人間の教示パフォーマンスは向上するか？
• RQ4 どのQ学習エージェントハイパーパrameter設定が人間の教示に対して最も適しているか？
• RQ5 教示プロセス中に、人間の教師は戦略を時間経過とともに適応させているか？

主な発見

• 人間の教師は非最適ではあるが効果的にQ学習エージェントを教示したが、最適なマシン教示アルゴリズムが11ステップで収束するのに対し、人間の教示はより多くのステップを要した。
• 最も教示されやすいQ学習エージェントは、割引率γ=0、学習率α=0.9の設定であり、人間の教師はこれを無意識に「お気に入りの学生」として好んだ。
• 順列検定により、フィードバックパターンの非ランダム性が示され、参加者が時間経過とともに教示戦略を適応していたことが確認された。
• Q値へのフィードバックの影響をリアルタイムで可視化することで、教示効率がわずかに向上したが、内部状態の理解による利益は限定的であった。
• エージェントの内部状態が見える（ホワイトボックス）か見えない（ブラックボックス）かの違いは、教示パフォーマンスにほとんど影響を与えなかった。
• 人間の教師は、予測可能で短期的制御可能な学習者を仮定しており、将来的な割引を最小限に抑え、報酬に対して即座に反応する学習者を想定していた。