[論文レビュー] Learning from Richer Human Guidance: Augmenting Comparison-Based Learning with Feature Queries

Chandrayee Basu, Mukesh Singhal+1 more|arXiv (Cornell University)|Feb 5, 2018

Machine Learning and Algorithms参考文献 20被引用数 8

ひとこと要約

本論文は、比較ベースの報酬学習に特徴クエリを追加することで、ユーザーが2つのロボット軌道のどちらを好むかを尋ねるだけでなく、その好ましさの原因となった具体的な特徴（例：速度、滑らかさ）についても尋ねることで、報酬関数の学習を向上させることを提案している。真の報酬をノイズのある観測として比較と特徴の回答をモデル化し、アクティブなクエリ選択により、ユーザーの好みを効率的に推定することで、比較のみの学習に比べ、シミュレーションおよび実際のユーザー研究において顕著に優れた報酬整合性を達成した。

ABSTRACT

We focus on learning the desired objective function for a robot. Although trajectory demonstrations can be very informative of the desired objective, they can also be difficult for users to provide. Answers to comparison queries, asking which of two trajectories is preferable, are much easier for users, and have emerged as an effective alternative. Unfortunately, comparisons are far less informative. We propose that there is much richer information that users can easily provide and that robots ought to leverage. We focus on augmenting comparisons with feature queries, and introduce a unified formalism for treating all answers as observations about the true desired reward. We derive an active query selection algorithm, and test these queries in simulation and on real users. We find that richer, feature-augmented queries can extract more information faster, leading to robots that better match user preferences in their behavior.

研究の動機と目的

• 軌道のデモがユーザーにとって困難または誤解を招きやすい状況において、ロボットの報酬関数を学習する課題に対処すること。
• ユーザーにとって簡単だが情報量が少ない比較ベースの学習を改善するため、1つの軌道が他より好まれる理由となる特徴の説明を組み込むこと。
• 比較と特徴の回答を両方とも真の報酬関数のノイズのある観測として扱う統一された確率的フレームワークを構築すること。
• 1回のクエリあたりの情報量を最大化するようにクエリを選択するアクティブなクエリ選択戦略を設計し、正しい報酬パラメータへの収束を加速すること。
• シミュレーションおよび実世界のユーザー研究において、より豊かなクエリがより優れた報酬モデルとユーザー満足度の高いロボット行動をもたらすことを実証的に検証すること。

提案手法

• 本手法は、人間の反応を真の報酬パラメータ θ に条件づけられたノイズのある最適意思決定としてモデル化し、比較と特徴の両方の回答をベイズ推論フレームワークにおける観測として扱う。
• 線形報酬関数 r(x,u) = θᵀφ(x,u) を使用し、状態-行動ペアの解釈可能な特徴 φ(x,u) のベクトルを定義する。
• クエリ q（2つの軌道と1つの特徴を含む）に対して、真の報酬 θ が与えられたもとで人間がどのように答えるかを表す確率的モデル P(a|θ,q) を定義する。
• 事後分布に基づく不確実性を用いた獲得関数を用いて、θ に関する期待情報量を最大化するクエリを選択するアクティブなクエリ選択を実施する。
• 比較と特徴クエリの両方の証拠を統合してベイズ推論を実行し、反復的に信念を更新する。
• 完全な応答とノイズのある応答を想定したシミュレーションと、実験室内でのドライブスタイルの好みに関する実際のユーザー研究で、本手法を評価した。

実験結果

リサーチクエスチョン

• RQ1 比較に加え、好まれる理由となった特徴についての説明を含む「豊富なクエリ」は、比較のみのクエリに比べ、報酬学習をより速く、より正確に進めることができるか？
• RQ2 特徴の回答を統一された確率的モデルに統合することで、ロボットが真のユーザーの好みを推定する能力がどのように向上するか？
• RQ3 豊富なクエリからの情報量に基づくアクティブなクエリ選択戦略は、ランダムまたは非適応的な戦略に比べ、収束速度と精度の面で優れているか？
• RQ4 実際のユーザーは、豊富なクエリに対して、使いやすさ、透明性、信頼性の観点からどのように反応するか？
• RQ5 豊富なクエリで学習されたロボットは、比較のみのクエリで学習されたロボットに比べ、ユーザーが好む行動をどれほど多く生成できるか？

主な発見

• シミュレーションでは、完全な応答とノイズのある応答の両方の条件下で、豊富なクエリが比較のみのクエリに比べ、正しい報酬パラメータの学習がより速く、より正確に達成された。
• 実際のユーザー研究では、豊富なクエリから学習した報酬関数に基づく軌道が、比較のみの学習から得られたものよりも74％の割合で好まれた。
• 豊富なクエリで学習したロボットは、すべての4つのリッカート尺度の好みに関する質問で、有意に高い評価を得た（p < .001）。特に、ユーザーの期待に合致するかどうか、および車に乗ることへの意欲についても高い評価を得た。
• 参加者たちは、特徴クエリが非常に有用である（平均評価 5.8/7）、軌道の比較能力を向上させた（平均 5.9/7）、透明性を高めた（平均 6.3/7）と報告したが、認知的負荷が増加したことも認められた。
• 特徴クエリの平均ユーザー体験評価は 6.0/7 であり、全参加者が、追加の努力を要するにしても、ロボットがより良い好みを学習するのを手伝うと明言した。
• 本研究は、より豊かなクエリが、エンドユーザーが感じる信頼性、有効性、理解可能性の高いロボット行動を生み出すことを確認した。