[論文レビュー] Here's What I've Learned: Asking Questions that Reveal Reward Learning

Soheil Habibian, Ananth Jonnavittula+1 more|arXiv (Cornell University)|Jul 2, 2021

Reinforcement Learning in Robotics参考文献 48被引用数 4

ひとこと要約

本稿では、人間-ロボット協働におけるアクティブな好み学習のための二重目的フレームワークを提案する。ロボットは、効率的に学習するための情報性の高い質問と、人間に対する知識状態を透明に伝えるための可視化の高い質問の両方をバランスさせる。人間がロボットの質問からどのように知識状態を推測するかをモデル化することで、最先端の手法と同等の速さで学習しつつ、学習の進捗が明確に可視化される。その結果、人間の信頼が早期に得られ、導入意思決定が迅速化される。

ABSTRACT

Robots can learn from humans by asking questions. In these questions the robot demonstrates a few different behaviors and asks the human for their favorite. But how should robots choose which questions to ask? Today's robots optimize for informative questions that actively probe the human's preferences as efficiently as possible. But while informative questions make sense from the robot's perspective, human onlookers often find them arbitrary and misleading. In this paper we formalize active preference-based learning from the human's perspective. We hypothesize that -- from the human's point-of-view -- the robot's questions reveal what the robot has and has not learned. Our insight enables robots to use questions to make their learning process transparent to the human operator. We develop and test a model that robots can leverage to relate the questions they ask to the information these questions reveal. We then introduce a trade-off between informative and revealing questions that considers both human and robot perspectives: a robot that optimizes for this trade-off actively gathers information from the human while simultaneously keeping the human up to date with what it has learned. We evaluate our approach across simulations, online surveys, and in-person user studies. Videos of our user studies and results are available here: https://youtu.be/tC6y_jHN7Vw.

研究の動機と目的

• 情報性の高いロボットの質問が、ロボットの知識状態について誤解を招く可能性がある人間-ロボット協働分野におけるギャップを解消すること。
• ロボットの質問が人間の観察者に対して、ロボットの現在の理解度についてどの程度情報を明らかにしているかを形式化すること。
• ロボット中心の情報利得と人間中心の透明性の両方を最適化する手法を開発すること。
• 可視化の高い質問が、人間のロボットの能力と導入準備状態に関する認識をどのように向上させるかを評価すること。
• ロボットが学習の進捗を明示的にコミュニケーションすることで、人間-ロボット協働における信頼性と解釈可能性を高めること。

提案手法

• ロボットの質問から人間がどのように知識状態を推測するかを捉えるために、人間の認知的モデルを形式化し、ロボットの質問が人間の認識に与える影響を定式化する。
• ロボットの学習のための情報利得（情報性）と人間への透明性（可視化）の間で連続的なトレードオフを導入する。
• ロボットが人間の報酬関数の信念を維持し、二重目的を最適化する質問を選択する確率的報酬学習フレームワークを採用する。
• 既知の行動（例：正しい積み重ね）を強調しつつ、不確実な側面（例：持ち運びの高さ）を変化させることで、ロボットの不確実性を可視化する質問ペアを設計する。
• シミュレーション、オンラインアンケート、対面でのユーザースタディを用いて、食器の積み重ねタスクを対象に手法を実装・評価する。
• 人間のフィードバックを用いてモデルをキャリブレーションし、参加者がロボットの質問からその知識状態を正しく推測できるかを検証する。

実験結果

リサーチクエスチョン

• RQ1 アクティブな学習中に、ロボットの質問は人間がロボットの知識状態をどのように認識するかにどのように影響するか？
• RQ2 ロボットの質問選択戦略を、情報利得と人間への透明性の両方を同時に最大化するように設計できるか？
• RQ3 質問設計によるロボット学習の可視化が、人間の信頼とロボット導入意思決定をどのように向上させるか？
• RQ4 情報性と可視化の高い質問のトレードオフが、学習速度と人間の解釈可能性に与える影響は何か？
• RQ5 人間は、ロボットが質問する内容だけから、ロボットが何を知っているかをどの程度正確に推測できるか？

主な発見

• 提案手法を用いたロボットは、最先端の情報性のみのベースラインと同等の速さで学習を完了し、学習速度に顕著な低下は認められなかった。
• ユーザースタディにおいて、参加者はロボットが質問する内容だけから、ロボットが何を知っているか・何を知らないかを正しく特定できた。これは、モデルの解釈可能性が妥当であることを裏付けた。
• 『導入可能か？』の評価において、可視化の高いアプローチを用いた場合、参加者は約6つの質問後にロボットを導入したが、情報性のみの条件では、知識状態の不確実性が原因で、参加者はロボットを一度も導入しなかった。
• 『情報性』条件では、参加者が質問を恣意的で誤解を招くものと認識し、信頼性が低下し、導入意思決定が遅延した。
• 『可視化』条件では、参加者がロボットが正しい行動（例：積み重ね）を一貫して行っているのを観察することで、ロボットが正しい行動を学習したと認識できた。
• オンラインアンケートの結果、複数のタスク要因を変化させた状況でも、可視化の高い質問は透明性と解釈可能性が高く、参加者に好意的に受け入れられた。