[論文レビュー] Learning Reward Functions from Scale Feedback

Nils Wilde, Erdem Bıyık+2 more|arXiv (Cornell University)|Oct 1, 2021

Reinforcement Learning in Robotics参考文献 36被引用数 6

ひとこと要約

本稿では、ロボットの軌道間の好みの差をより洗練された評価で提供できるスライダーベースのインターフェース「スケールフィードバック」を提案する。これは、従来の2値またはソフトチョイスフィードバックに比べ、より洗練された好みの評価を可能にする。ユーザーの反応をガウスノイズ分布としてモデル化し、情報ゲインおよび最大後悔に基づくアクティブクエリ選択を用いることで、報酬関数の学習をより効率的に行う。シミュレーションおよびユーザースタディーにおいて、わずかに使いにくさが高まるものの、顕著な性能向上を示した。

ABSTRACT

Today's robots are increasingly interacting with people and need to efficiently learn inexperienced user's preferences. A common framework is to iteratively query the user about which of two presented robot trajectories they prefer. While this minimizes the users effort, a strict choice does not yield any information on how much one trajectory is preferred. We propose scale feedback, where the user utilizes a slider to give more nuanced information. We introduce a probabilistic model on how users would provide feedback and derive a learning framework for the robot. We demonstrate the performance benefit of slider feedback in simulations, and validate our approach in two user studies suggesting that scale feedback enables more effective learning in practice.

研究の動機と目的

• 2値またはソフトチョイスフィードバックの限界を是正するため、1回のインタラクションで1ビットまたは数ビットの情報しか得られないという問題に取り組む。
• ロボット軌道間の好みの度合いを捉えるより表現力の高いフィードバックメカニズムを設計し、報酬学習におけるデータ効率を向上させる。
• スケールフィードバックのための確率的ユーザーモデルを開発し、それをアクティブラーニングフレームワークに統合して、報酬関数の推定を効率的に行う。
• 本手法をシミュレーションおよび実世界のユーザースタディーで評価し、選択ベースのフィードバックおよびランダム vs. アクティブクエリ選択の比較を通じて性能を検証する。

提案手法

• ユーザーのスケールフィードバックを、真の好みの差の周囲にガウスノイズ分布を仮定した確率的変数としてモデル化し、報酬関数の重みを確率論的に推定可能にする。
• ロボット軌道の特徴に基づいてパrameter化された線形報酬関数を用い、ノイズのあるスケールフィードバックから重みを学習する。
• 情報ゲインまたは期待される後悔を最小化するように軌道ペアを選択するアクティブラーニングを適用し、収束を加速する。
• ベイズ更新とガウス尤度を用いて、報酬関数重みの信念を更新する確率的推論フレームワークを採用する。
• シミュレーションおよび実際のロボットを用いた2つのユーザースタディーを通じて、スケールフィードバックをソフトチョイスフィードバックと、ランダムクエリとアクティブクエリの両方と比較して手法を検証する。
• 学習効果の評価に、検証データの対数尤度と最適化された軌道報酬を指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 スケールフィードバックは、ソフトチョイスフィードバックに比べて、報酬関数の学習が速く正確であるか？
• RQ2 情報ゲインまたは最大後悔に基づくアクティブクエリ選択は、スケールフィードバックを用いた学習を加速できるか？
• RQ3 ユーザーは、スケールフィードバックとソフトチョイスフィードバックの間で、使いやすさと表現力の面でどのように評価するか？
• RQ4 本稿で提案するスケールフィードバックの確率的モデルは、実際の学習に有効に機能するほど十分に正確か？

主な発見

• 検証データにおける対数尤度の観点から、スケールフィードバックはソフトチョイスフィードバックを顕著に上回り、p < .001であり、H1を支持する。
• 情報ゲインに基づくアクティブクエリ選択は、ランダムクエリに比べて学習が速く、対数尤度も高い結果を示し、p < .001であり、H2を支持する。
• 情報ゲインを用いたアクティブクエリは、ランダムクエリに比べ、報酬が高くなる軌道が1.95倍の確率で選ばれる結果となり、H3を支持する。
• 定量的優位性にもかかわらず、ユーザーはソフトチョイスフィードバックをわずかに使いやすいと評価した（p < .01）、H5を否定する。
• スケールフィードバックとソフトチョイスフィードバックの間で、表現力の面での有意な差は認められず、H6の一部を支持する。
• モデルの推定ノイズパラメータ（σ）が高いため、不正確さの可能性が示唆され、今後の研究でより洗練されたユーザーモデルの構築が求められる。