[論文レビュー] The Boltzmann Policy Distribution: Accounting for Systematic Suboptimality in Human Models

Cassidy Laidlaw, Anca D. Dragan|arXiv (Cornell University)|Apr 22, 2022

Explainable Artificial Intelligence (XAI)被引用数 7

ひとこと要約

本稿では、時間に依存する行動の依存関係をモデル化することで、経路ではなく方策に依存する新しい報酬条件付き人間モデル、ボルツマン方策分布（BPD）を導入する。生成モデルによる効率的なサンプリングを用いたベイズ推論により、模倣学習に比べてはるかに少ないデータで人間の行動予測と人間-AI協調が可能となり、予測および協調タスクの両方でボルツマン合理的性を上回る。

ABSTRACT

Models of human behavior for prediction and collaboration tend to fall into two categories: ones that learn from large amounts of data via imitation learning, and ones that assume human behavior to be noisily-optimal for some reward function. The former are very useful, but only when it is possible to gather a lot of human data in the target environment and distribution. The advantage of the latter type, which includes Boltzmann rationality, is the ability to make accurate predictions in new environments without extensive data when humans are actually close to optimal. However, these models fail when humans exhibit systematic suboptimality, i.e. when their deviations from optimal behavior are not independent, but instead consistent over time. Our key insight is that systematic suboptimality can be modeled by predicting policies, which couple action choices over time, instead of trajectories. We introduce the Boltzmann policy distribution (BPD), which serves as a prior over human policies and adapts via Bayesian inference to capture systematic deviations by observing human actions during a single episode. The BPD is difficult to compute and represent because policies lie in a high-dimensional continuous space, but we leverage tools from generative and sequence models to enable efficient sampling and inference. We show that the BPD enables prediction of human behavior and human-AI collaboration equally as well as imitation learning-based human models while using far less data.

研究の動機と目的

• ボルツマン合理的性が、時間的に一貫した行動の依存関係に起因する系統的な非最適な人間行動をモデル化できないという限界を解決すること。
• 経路レベルのランダムネスではなく、方策レベルの依存関係を捉える報酬条件付き人間モデルを構築することで、限られたデータからのより良い一般化と推論を可能にすること。
• ベイズ推論による方策の上での人間行動の一貫性を考慮した適応的方策を学習することで、効果的な人間-AI協調を実現すること。
• 経路ではなく方策をモデル化することで、より正確な人間行動予測と、少ないデータでの優れた協調パフォーマンスを達成できることを示すこと。
• 人間行動のより正確な逆モデルを提供することで、報酬学習の向上に基盤を提供すること。

提案手法

• 時間的依存性による最適性からの一貫した逸脱をモデル化することで、人間方策の事前分布としてボルツマン方策分布（BPD）を提案する。
• 1エピソード内での観察された人間の行動に基づき、ベイズ推論を用いてBPDの事後分布を更新し、系統的な非最適性に適応する。
• 正規化フロー、変分推論などの生成的・系列モデルのツールを活用することで、高次元連続方策の効率的サンプリングと表現を可能にする。
• PPOを用いて協調的AI方策を学習し、人間の行動をBPDまたはMaxEnt分布からサンプリングすることで、ロボットが人間方策ダイナミクスに適応できるようにする。
• BPDに基づく協調的方策が記憶あり・なしでどのように異なるかを比較することで、時間的適応の価値を評価する。
• 最大事後確率（MAP）および平均場変分推論（MFVI）の近似を用いて、BPDにおける推論をスケーリングしながらも、予測精度を維持する。

実験結果

リサーチクエスチョン

• RQ1 人間が系統的な非最適性を示す場合、経路ではなく方策をモデル化することで、人間行動の予測が向上するか？
• RQ2 1エピソード分の人の行動データしか入手できない状況で、BPDはボルツマン合理的性よりも正確な人間-AI協調を可能にするか？
• RQ3 BPDが人間行動の時間的依存関係を捉える能力が、協調的AI方策のパフォーマンスにどのように影響するか？
• RQ4 模倣学習に比べて、BPDは人間行動モデル化に必要なデータ量をどの程度削減できるか？
• RQ5 BPDは、人間行動パターンをより正確に反映するため、報酬学習のためのより優れた逆モデルとして機能できるか？

主な発見

• BPDは、行動クラーニングモデルと同等の予測精度を達成しているが、人間データの使用量が著しく少ないため、データ効率的な人間モデルとしての有効性が裏付けられた。
• ボルツマン合理的性は、系統的な非最適な設定では人間行動を正確に予測できず、一部の環境ではランダムな予測と同等の性能にとどまり、一方BPDは強い予測力維持を示した。
• BPDに基づく協調的方策は、3つのOvercookedレイアウトすべてでボルツマン合理的性に基づく方策を上回り、人間-AIチームにおける協調性が優れていた。
• 明示的な記憶がなくても、BPDに基づく協調的方策は記憶ありのものとほぼ同等のパフォーマンスを示しており、BPDが時間的一致性を内蔵しており適応を支援していることが示唆された。
• MFVI近似はMAP推論よりも性能が悪く、完全な事後分布表現が方策レベルの依存関係の正確なモデル化に不可欠であることを確認した。
• BPDは最小限のデータで効果的な人間-AI協調を可能にし、データ集約的な模倣学習の代替として、方策レベルのモデリングが有効であることを示した。