[論文レビュー] Asking Easy Questions: A User-Friendly Approach to Active Reward Learning

Erdem Bıyık, Malayandi Palan+3 more|arXiv (Cornell University)|Oct 10, 2019

Reinforcement Learning in Robotics参考文献 46被引用数 54

ひとこと要約

この論文は、人間にとって答えやすい質問を優先する情報利得に基づくアクティブ報酬学習アプローチを提案し、従来のボリューム除去法と比べて学習速度とユーザー体験を改善する。

ABSTRACT

Robots can learn the right reward function by querying a human expert. Existing approaches attempt to choose questions where the robot is most uncertain about the human's response; however, they do not consider how easy it will be for the human to answer! In this paper we explore an information gain formulation for optimally selecting questions that naturally account for the human's ability to answer. Our approach identifies questions that optimize the trade-off between robot and human uncertainty, and determines when these questions become redundant or costly. Simulations and a user study show our method not only produces easy questions, but also ultimately results in faster reward learning.

研究の動機と目的

• ロボットが人間の問い合わせを通じてユーザー固有の報酬関数を学習する動機づけと、ロボットと人間の理解性の両方に対処する。
• 情報利得と人間の回答能力のバランスを取るクエリ選択法を開発。
• 従来のボリューム除去アプローチより、容易で情報量の多い質問が報酬学習を速く進めることを示す。
• コストが情報利得を上回るときにクエリを停止する最適停止規則を導入。

提案手法

• 厳密および弱（About Equal）な好みを含む確率的好みモデルを用いて人間の選択をモデル化する。
• Qの集合に対して相互情報量 I(ω; q | Q) を最大化してクエリ選択を定式化する。
• Volume-removal objectiveを人間の回答性を考慮した情報利得目的に置換する（Eq. 3 および Eq. 4）。
• 情報利得目的が自明で同一オプションのクエリを回避し、より容易な質問を生み出すことを証明する。
• 任意のコスト項 c(Q) を提供し、最適停止条件（Eq. 6 および Theorem 3）を導出する。
• バッチクエリへ拡張し、既存のアクティブ学習手法への拡張を論じる。

実験結果

リサーチクエスチョン

• RQ1 情報利得ベースのクエリ選択は、ボリューム除去よりも容易で情報量の多い質問を生み出すか？
• RQ2 情報利得の最大化は、最先端の方法と比べて真の報酬パラメータへの収束を加速するか？
• RQ3 情報価値と努力・コストのバランスをとるためにクエリを停止する時期を自動的に決定できるか？
• RQ4 弱い（About Equal）好みのオプションは学習速度とユーザー体験にどのような影響を与えるか？
• RQ5 シミュレーションと実ユーザー実験（Fetchロボット）で、学習効率と使いやすさの改善を裏付けるか？

主な発見

• 情報利得クエリは、複数のシミュレートタスクでボリューム除去よりも報酬学習を速める。
• 情報利得クエリは回答が容易で、識別不能なオプションが少なく、ユーザ研究で誤答が減る。
• 本手法は初期クエリで特に誤ったフィードバックを減らし、真の報酬関数への収束を早める。
• 最適停止規則は、コストが情報利得を上回るときにクエリを効果的に終了させ、環境横断でコスト効率の良い学習を生む。
• ユーザ研究では、情報利得の軌道がボリューム除去より好まれることが示され、学習報酬へのユーザー好みと一致する。
• 方法は、ボリューム除去と同等の計算複雑性と理論的保証（利得の境界付きの貪欲最適化）を維持しつつ、特定の失敗モードを回避する。