[論文レビュー] How to talk so AI will learn: Instructions, descriptions, and autonomy

Theodore R. Sumers, Robert D. Hawkins+3 more|arXiv (Cornell University)|Jun 16, 2022

Decision-Making and Behavioral Economics被引用数 5

ひとこと要約

本稿は、価値整合性を図るための人間-AIコミュニケーションの形式的モデルを提案する。指示（行動固有のガイダンス）と記述（報酬関数の情報）を区別し、自律的エージェントでは記述がより効果的であり、低自律性の状況では指示が適していることを示している。実用的リスナー・モデルは言語から人間の報酬関数を効果的に推定でき、強化学習における後悔を低減する。

ABSTRACT

From the earliest years of our lives, humans use language to express our beliefs and desires. Being able to talk to artificial agents about our preferences would thus fulfill a central goal of value alignment. Yet today, we lack computational models explaining such language use. To address this challenge, we formalize learning from language in a contextual bandit setting and ask how a human might communicate preferences over behaviors. We study two distinct types of language: $ extit{instructions}$, which provide information about the desired policy, and $ extit{descriptions}$, which provide information about the reward function. We show that the agent's degree of autonomy determines which form of language is optimal: instructions are better in low-autonomy settings, but descriptions are better when the agent will need to act independently. We then define a pragmatic listener agent that robustly infers the speaker's reward function by reasoning about $ extit{how}$ the speaker expresses themselves. We validate our models with a behavioral experiment, demonstrating that (1) our speaker model predicts human behavior, and (2) our pragmatic listener successfully recovers humans' reward functions. Finally, we show that this form of social learning can integrate with and reduce regret in traditional reinforcement learning. We hope these insights facilitate a shift from developing agents that $ extit{obey}$ language to agents that $ extit{learn}$ from it.

研究の動機と目的

• 人間が言語を通じて好みをどのように伝えるかを形式化し、AI学習を導く。
• 指示と記述的言語のどちらがAIエージェントの学習により効果的であるかを調査する。
• 発話から人間の報酬関数を推定する実用的リスナー・モデルを開発する。
• 行動実験を通じてモデルを検証し、強化学習と統合する。

提案手法

• 文脈的バンディットフレームワークにおいて、タスクの時間枠全体で期待報酬を最大化するように発話選択を行う発話者モデルを形式化する。
• 2種類の言語タイプを区別する：指示（直接的な行動ガイダンス）と記述（報酬関数構造に関する情報）。
• 発話者の報酬関数とタスク時間枠を同時に推定するベイジアン推論を用いた実用的リスナーを提案し、モデル誤指定を軽減する。
• 個々の学習における報酬関数推定に、ガウス事前分布と尤度を用いた共役ベイジアン更新を適用する。
• 重要度サンプリングを用いて、実用的ソーシャル推論をトムソン・サブミッションと統合する。
• 拒否サンプリングとソフト条件付けを用いて、シミュレーションにおける離散的報酬制約と一貫性のない発話を処理する。

実験結果

リサーチクエスチョン

• RQ1 AIエージェントの教育において、指示ベースのコミュニケーションが記述的言語を上回る状況は何か？
• RQ2 エージェントの自律性度（タスク時間枠で測定）が、教育に最適な人間の言語形態にどのように影響するか？
• RQ3 モデル不確実性下でも、実用的リスナー・モデルは発話から人間発話者の報酬関数を正確に推定できるか？
• RQ4 言語からのソーシャル推論を統合することで、強化学習における学習効率が向上し、後悔が低減するか？

主な発見

• エージェントが長い時間枠にわたり自律的に行動すると予想される状況では、報酬関数の記述が指示よりも効果的である。
• 即時の直接的行動ガイダンスが最も有用な低自律性の状況では、指示が最適である。
• 実用的リスナー・モデルは、発話から人間の報酬関数を効果的に回復でき、後悔を低減する点で、直訳的解釈を上回る。
• 実用的推論をトムソン・サブミッションと統合することで、個々の学習のみと比較して、学習の後悔が低減する。
• 厳密に指示に従う直訳的リスナーは、誤ったまたは劣悪な指示を受け取ると、最適でない方策に閉じ込められることがある。
• 本モデルは、発話者の時間枠と報酬関数を同時に推定することで、モデル誤指定に対する耐性が向上することを示している。