[論文レビュー] Learning to Influence Human Behavior with Offline Reinforcement Learning

Joey Hong, Sergey Levine+1 more|arXiv (Cornell University)|Mar 3, 2023

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

本稿では、明示的な影響戦略の例示がなくても、AIエージェントが協働タスクにおける非最適な人間行動に影響を与えるために、オフライン強化学習（RL）を用いることを提案している。多様な人間同士の対話データから学習し、人間の潜在的戦略をモデル化することで、エージェントは新しい影響戦略（例：目的の行動へのアクセスを遮断して行動を再定向ける）を推論・適用可能となる。その結果、人間の戦略が時間経過とともに変化しても、人間のパフォーマンスに顕著な向上が見られることを示している。

ABSTRACT

When interacting with people, AI agents do not just influence the state of the world -- they also influence the actions people take in response to the agent, and even their underlying intentions and strategies. Accounting for and leveraging this influence has mostly been studied in settings where it is sufficient to assume that human behavior is near-optimal: competitive games, or general-sum settings like autonomous driving alongside human drivers. Instead, we focus on influence in settings where there is a need to capture human suboptimality. For instance, imagine a collaborative task in which, due either to cognitive biases or lack of information, people do not perform very well -- how could an agent influence them towards more optimal behavior? Assuming near-optimal human behavior will not work here, and so the agent needs to learn from real human data. But experimenting online with humans is potentially unsafe, and creating a high-fidelity simulator of the environment is often impractical. Hence, we focus on learning from an offline dataset of human-human interactions. Our observation is that offline reinforcement learning (RL) can learn to effectively influence suboptimal humans by extending and combining elements of observed human-human behavior. We demonstrate that offline RL can solve two challenges with effective influence. First, we show that by learning from a dataset of suboptimal human-human interaction on a variety of tasks -- none of which contains examples of successful influence -- an agent can learn influence strategies to steer humans towards better performance even on new tasks. Second, we show that by also modeling and conditioning on human behavior, offline RL can learn to affect not just the human's actions but also their underlying strategy, and adapt to changes in their strategy.

研究の動機と目的

• 認知バイアスや情報の不完全さによって生じる非最適な現実世界の人間行動を影響する課題に対処すること。
• このような戦略が明示的に示されていなくても、人間同士の対話データのオフラインデータセットからAIエージェントが効果的な影響戦略を学習できることを可能にすること。
• 人間の潜在的戦略の変化をモデル化・適応可能とし、単なる行動変更を超えた長期的影響を実現すること。
• オフラインRLが、事前に成功例が示されていない新しいタスクに対しても影響戦略を一般化できることを示すこと。
• 人間-ロボット協働における影響の有効性を評価し、人間の行動に顕著な適応が見られることを示すこと。

提案手法

• 本手法は、人間同士の対話データの多様なオフラインデータセットを用いて強化学習を実行し、オンライン人間の対話や環境シミュレータを必要とせずに影響ポリシーを学習する。
• 人間パートナーの潜在的行動戦略を推定・条件付けするため、オフラインRLに潜在的戦略モデリング部を拡張する。
• エージェントは観察された行動から人間の戦略を推論し、それに応じて影響戦略を適応的に変更する。例えば、特定の物体へのアクセスを遮断して目標選択を再定向ける。
• 観察された人間行動（例：皿を落とす、近くの皿を取る）の組み合わせを統合し、データに直接示されていない効果的な影響戦略を推論する。
• メモリ拡張型オフラインRLアーキテクチャと潜在的戦略推論ヘッドを組み合わせることで、一般化性と適応性を向上させる。
• 本手法は、エージェントがより効率的なタスク協調を促進するように学習する、Overcooked環境を用いて評価されている。

Figure 1: Informative example of how an agent may deduce influencing strategies from offline data.

実験結果

リサーチクエスチョン

• RQ1 訓練データにそのような戦略が存在しなくても、オフラインRLが非最適な人間行動に効果的な影響戦略を学習できるか？
• RQ2 オフラインRLエージェントは、人間パートナーの潜在的行動戦略の変化に応じて、その影響戦略を適応的に変更できるか？
• RQ3 人間の潜在的戦略をモデル化することで、標準的なオフラインRLや行動クローンと比較して、人間行動の影響においてより優れたパフォーマンスが得られるか？
• RQ4 エージェントの影響が、単なる一時的な行動変更ではなく、人間行動に顕著な長期的変化（例：戦略の転換）を引き起こすか？
• RQ5 エージェントの成功は、人間を影響させたからではなく、タスク自体の内因的パフォーマンスのおかげなのか？

主な発見

• 提案された潜在的オフラインRL手法は、標準的なオフラインRLおよび行動クローンと比較して、人間行動の影響において顕著に優れており、人間-ロボット協働における平均報酬が高かった。
• メモリ拡張型オフラインRLと潜在的オフラインRLの両方が、単純な行動クローンを上回ったが、情報入力が同一であるにもかかわらず、潜在的オフラインRLがメモリ拡張型オフラインRLを顕著に上回った。
• エージェントは人間の戦略を変化させることに成功した：ブロックが解除されても、人間はブロックされた材料を避ける行動を示した。これは長期的影響を示している。
• 対話の最終100タイムステップでは、最初の100タイムステップと比較して人間パートナーのパフォーマンスが顕著に向上しており、エージェントの影響に適応したことが示された。
• 影響不能なスクリプトポリシーとペアにした場合、すべてのエージェントが同様に性能を示したため、エージェントの成功が人間の影響によるものであると除外できず、タスク自体の内因的パフォーマンスによるものではないことが裏付けられた。
• 定性的分析から、エージェントは適応的戦略を学習していることが示された。例えば、人間が玉ねぎを狙っていないと推論すると、玉ねぎへのアクセス遮断を停止する戦略的意識を示している。

Figure 2: Illustration of the Overcooked environment. The goal is to place three ingredients (tomatoes or onions) in a pot, plate the soup from the pot, and deliver it, as many times as possible within the time limit. The ego agent is the one in the blue hat.