[論文レビュー] Towards Deployment of Robust AI Agents for Human-Machine Partnerships

Ahana Ghosh, Sebastian Tschiatschek+2 more|arXiv (Cornell University)|Oct 5, 2019

Reinforcement Learning in Robotics参考文献 33被引用数 8

ひとこと要約

本論文は、パラメトリックMDPモデルを用いて、未知の人間ユーザーのタイプに適応する強力なAIエージェントを設計するフレームワークを提案する。観察された行動からユーザーのタイプを推論し、AdaptPool（事前計算されたポリシー）とAdaptDQN（ニューラルネットワークベースの推論）を介して動的にポリシーを調整することで、理論的かつ実用的な強度を備えた人間・機械協働を実現し、非適応型のベースラインを上回る性能を発揮する。

ABSTRACT

We study the problem of designing AI agents that can robustly cooperate with people in human-machine partnerships. Our work is inspired by real-life scenarios in which an AI agent, e.g., a virtual assistant, has to cooperate with new users after its deployment. We model this problem via a parametric MDP framework where the parameters correspond to a user's type and characterize her behavior. In the test phase, the AI agent has to interact with a user of unknown type. Our approach to designing a robust AI agent relies on observing the user's actions to make inferences about the user's type and adapting its policy to facilitate efficient cooperation. We show that without being adaptive, an AI agent can end up performing arbitrarily bad in the test phase. We develop two algorithms for computing policies that automatically adapt to the user in the test phase. We demonstrate the effectiveness of our approach in solving a two-agent collaborative task.

研究の動機と目的

• 展開後、新しい未知の人間ユーザーと効果的に協働できるAIエージェントを展開する課題に対処すること。
• ユーザーの好みや行動パターンを捉えるユーザーのタイプθを含むパラメトリックMDPフレームワークでユーザー行動をモデル化すること。
• テスト時に明示的な報酬信号が入手できない状況でも、相互作用中にユーザーのタイプを推定し、そのポリシーを適応的に変更することで効用を最大化するAIエージェントを設計すること。
• 非適応型エージェントが示す任意に悪い結果を回避するため、以前に見られなかったユーザーのタイプに対しても安定したパフォーマンスを確保すること。
• スケーラブルな展開を可能にするディープラーニングにインspiredされた手法を用いながら、ポリシーのロバスト性に関する理論的保証を提供すること。

提案手法

• ユーザーの行動タイプθを表すパラメトリックMDP M(θ)として、人間-AI協働問題を定式化する。
• 人間ユーザーの観察された行動を用いて、ベイズ的または尤度に基づく推論により、時間経過とともに信念を更新することで、そのタイプθを推定する。
• AdaptPoolを提案：候補となるユーザーのタイプに対して最適応答ポリシーを事前に計算したライブラリを構築し、推定されたタイプに基づき最適なポリシーを選択する。
• AdaptDQNを設計：ニューラルネットワークベースのポリシーと、ユーザーのタイプを予測し、それに応じて行動を適応的に変更する統合推論モジュールを同時に学習する強化学習アーキテクチャ。
• 人間のポリシーπθxから導出される遷移ダイナミクスTθと報酬関数Rθを用いて、AIエージェントが認識する環境をモデル化する。
• θに関する不確実性がある状況でも、高い期待報酬を維持するポリシーを設計することでロバスト性を確保し、性能の上限に関する理論的保証を提供する。

実験結果

リサーチクエスチョン

• RQ1 展開後、行動タイプが未知の新しい人間ユーザーと対話する際、AIエージェントはどのように高い効用を維持できるか？
• RQ2 AIエージェントは、観察された行動からどのようなメカニズムを用いてユーザーのタイプを推定し、それに応じてポリシーを適応的に変更できるか？
• RQ3 未知のユーザーのタイプに直面した際、非適応型AIエージェントは人間・機械協働においてロバストなパフォーマンスを達成できるか？
• RQ4 ユーザーのタイプに関する不確実性が存在する状況において、適応型ポリシーにどのような理論的保証を提供できるか？
• RQ5 ディープラーニングを用いることで、大規模または複雑な環境において適応型ポリシーをどのようにスケーラブルに実装できるか？

主な発見

• 非適応型AIエージェントは、未知のユーザーのタイプに直面した際、テスト段階で任意に悪いパフォーマンスを示すことがあるため、適応の必要性が明確になる。
• 提案されたAdaptPoolアルゴリズムは、推定されたユーザーのタイプに基づき、事前に計算されたライブラリから最適なポリシーを選択することで、強力な理論的ロバスト性保証を達成する。
• AdaptDQNは、ニューラルネットワークベースのポリシーとエンドツーエンド推論モジュールを統合することで、実用的な適応を効果的に実現し、複雑な環境へのスケーラビリティを実現する。
• 実験的評価により、提案された両方のポリシーが、ユーザーのタイプに関する不確実性下でも、非適応型ベースラインを著しく上回ることが示された。
• 報酬情報が展開時に入手不可であっても、行動観測と推論に依存することで、高い効用を達成できることがフレームワークによって可能になる。
• 理論的分析により、真のユーザーのタイプがテスト時に不明であっても、適応型ポリシーが最適に近いパフォーマンスを維持することが確認された。