[論文レビュー] Automated Task-Time Interventions to Improve Teamwork using Imitation Learning

Sangwon Seo, Bing Han+1 more|arXiv (Cornell University)|Mar 1, 2023

Team Dynamics and PerformancePsychology被引用数 3

ひとこと要約

本論文は、時間的緊急性が高く部分的に観測可能なマルチエージェント環境におけるチームワークの向上を目的として、模倣学習を用いた自動介入フレームワークTICを提案する。デモンストレーションデータからチーム行動の生成モデルを学習し、ベイズ推論を用いて介入方策を計算することで、不確実性下での協調行動を伴う合成シナリオにおいて、チームのパフォーマンスが顕著に向上する。

ABSTRACT

Effective human-human and human-autonomy teamwork is critical but often challenging to perfect. The challenge is particularly relevant in time-critical domains, such as healthcare and disaster response, where the time pressures can make coordination increasingly difficult to achieve and the consequences of imperfect coordination can be severe. To improve teamwork in these and other domains, we present TIC: an automated intervention approach for improving coordination between team members. Using BTIL, a multi-agent imitation learning algorithm, our approach first learns a generative model of team behavior from past task execution data. Next, it utilizes the learned generative model and team's task objective (shared reward) to algorithmically generate execution-time interventions. We evaluate our approach in synthetic multi-agent teaming scenarios, where team members make decentralized decisions without full observability of the environment. The experiments demonstrate that the automated interventions can successfully improve team performance and shed light on the design of autonomous agents for improving teamwork.

研究の動機と目的

• 医療や災害対応など、時間的圧力と部分的観測性の下でチームパフォーマンスが低下する時間的緊急性の高い分野における不完全な協調行動の課題に対処すること。
• 完全な観測性や集中型制御を必要とせず、自動的かつリアルタイムに介入を行うチームワーク向上システムの開発。
• 歴史的チーム実行データから協調パターンを抽出し、実行可能な文脈に即した介入を生成するために、模倣学習を活用すること。
• チームのメンタルステートをモデル化し、政策推論に妥当な生成モデルを用いることで、スケーラブルで解釈可能な介入を実現すること。
• 分散型意思決定と不確実性下での自律的マルチエージェント環境における自動介入の有効性を評価すること。

提案手法

• TICは、エキスパートのデモンストレーションデータからチーム行動の生成モデルを学習するため、マルチエージェント模倣学習アルゴリズムBTILを採用する。
• この手法は、環境の状態とエージェントのメンタルステート（信念、意図）を組み合わせた、連合状態-行動分布を用いてチーム協調行動をモデル化する。
• 介入方策は、メンタルステートの事後分布を推定し、異なる行動に対する将来的なチーム行動を予測することで、ベイズ推論を用いて計算される。
• チームパフォーマンスと協調品質の両立を図る価値関数を最大化することで介入方策が導出され、状態-メンタルステートペアの適合関数が用いられる。
• 観測値と行動に基づく信念更新をモデル化するために、分野固有の「常識」ルールを用いてメンタルステート遷移を手動で設計する。
• 介入行動は、将来的なチームパフォーマンスと協調安定性への影響を考慮した計画問題を解くことで計算される。

実験結果

リサーチクエスチョン

• RQ1 自動的かつリアルタイムの介入は、部分的に観測可能で時間的緊急性の高いマルチエージェントタスクにおけるチームパフォーマンスを向上させることができるか？
• RQ2 明示的な報酬形状付けや完全な観測性を必要とせず、模倣学習を用いて効果的な介入をモデル化・生成することは可能か？
• RQ3 メンタルステート表現は、分散型チームワークにおける効果的で解釈可能な介入を可能にする上で果たす役割は何か？
• RQ4 チーム状態とメンタルステートの適合関数は、生成される介入の質にどのように影響を与えるか？
• RQ5 提案されたフレームワークは、より大きなチームや不確実性下でのより複雑な協調タスクに対してもスケーラブルに機能するか？

主な発見

• 部分的観測性下での協調行動を伴う合成マルチエージェントシナリオにおいて、TICは累積報酬とタスク完了率の両面でチームパフォーマンスを顕著に向上させる。
• 模倣学習に基づく生成モデルの使用により、エージェントが完全な状況認識を持たない場合でも、効果的な介入戦略を推論可能であることが示された。
• TICが生成する介入は、協調失敗を低減させ、特に高ストレス・時間的敏感なタスクにおいて計画の一貫性を向上させる。
• Movers、Cleanup、Flood、Blackoutといった、それぞれ異なる協調課題を有する多様なチームワーク分野において、フレームワークのロバスト性が確認された。
• メンタルステートのモデル化により解釈性が向上し、チームダイナミクスに応じた文脈に即した介入が可能になった。
• 妥当な推論メカニズムのおかげで、チームサイズの増加に対しても効果的にスケーリング可能であり、パフォーマンスの向上が観察された。