[论文解读] Automated Task-Time Interventions to Improve Teamwork using Imitation Learning

Sangwon Seo, Bing Han+1 more|arXiv (Cornell University)|Mar 1, 2023

Team Dynamics and PerformancePsychology被引用 3

一句话总结

本文提出 TIC，一种基于模仿学习的自动化干预框架，旨在提升时间敏感、部分可观测多智能体场景下的团队协作表现。通过从演示数据中学习团队行为的生成模型，并运用贝叶斯推理计算干预策略，TIC 在涉及不确定性协调的合成场景中显著提升了团队性能。

ABSTRACT

Effective human-human and human-autonomy teamwork is critical but often challenging to perfect. The challenge is particularly relevant in time-critical domains, such as healthcare and disaster response, where the time pressures can make coordination increasingly difficult to achieve and the consequences of imperfect coordination can be severe. To improve teamwork in these and other domains, we present TIC: an automated intervention approach for improving coordination between team members. Using BTIL, a multi-agent imitation learning algorithm, our approach first learns a generative model of team behavior from past task execution data. Next, it utilizes the learned generative model and team's task objective (shared reward) to algorithmically generate execution-time interventions. We evaluate our approach in synthetic multi-agent teaming scenarios, where team members make decentralized decisions without full observability of the environment. The experiments demonstrate that the automated interventions can successfully improve team performance and shed light on the design of autonomous agents for improving teamwork.

研究动机与目标

• 为解决医疗和灾难响应等时间敏感领域中因时间压力与部分可观测性导致的协作不完善问题，提升团队在该类场景下的表现。
• 开发一种无需完全可观测性或集中控制的自动化、实时干预系统，以提升团队协作效率。
• 利用模仿学习从历史团队执行数据中提取协作模式，并生成可操作、上下文感知的干预策略。
• 通过建模团队心理状态并使用可处理的生成模型进行策略推理，实现可扩展且可解释的干预机制。
• 在去中心化决策、不确定性条件下的合成多智能体环境中，评估自动化干预的有效性。

提出的方法

• TIC 采用 BTIL（一种多智能体模仿学习算法），从专家演示数据中学习团队行为的生成模型。
• 该方法通过联合状态-动作分布建模团队协作，同时包含环境状态与智能体的心理状态（信念、意图）。
• 通过估计心理状态的后验分布并预测不同动作下未来团队行为，利用贝叶斯推理计算干预策略。
• 干预策略通过最大化一个价值函数推导得出，该价值函数平衡团队表现与协作质量，并在状态-心理状态对上使用兼容性函数。
• 心理状态转移通过领域特定的‘常识’规则手工设计，以基于观测与动作建模信念更新。
• 该框架通过求解一个规划问题计算干预动作，综合考虑干预对未来团队表现与协作稳定性的影响。

实验结果

研究问题

• RQ1 在部分可观测、时间敏感的多智能体任务中，自动化、实时干预能否提升团队表现？
• RQ2 如何利用模仿学习在无需显式奖励设计或完全可观测性的情况下，建模并生成有效的干预策略？
• RQ3 心理状态表示在实现去中心化团队协作中有效、可解释的干预中起到何种作用？
• RQ4 团队状态与心理状态之间的兼容性函数如何影响生成干预的质量？
• RQ5 所提出的框架能否在更大规模团队与更复杂的协作任务下，于不确定性环境中保持可扩展性？

主要发现

• 在涉及部分可观测性下协作的合成多智能体场景中，TIC 显著提升了团队表现，表现为累积奖励与任务完成率更高。
• 基于模仿学习的生成模型使系统即使在智能体缺乏完整情境意识的情况下，也能推断出有效的干预策略。
• TIC 生成的干预措施减少了协作失败，提升了计划一致性，尤其在高压、时间敏感任务中表现显著。
• 该框架在多种团队协作领域（包括 Movers、Cleanup、Flood 和 Blackout）中表现出鲁棒性，各领域具有不同的协作挑战。
• 心理状态建模增强了可解释性，并支持上下文敏感的干预，能够根据团队动态自适应调整。
• 该方法在多智能体设置中具有良好的可扩展性，得益于可处理的推理机制，即使在团队规模增加时仍能保持性能提升。