[논문 리뷰] Automated Task-Time Interventions to Improve Teamwork using Imitation Learning

Sangwon Seo, Bing Han외 1명|arXiv (Cornell University)|2023. 03. 01.

Team Dynamics and PerformancePsychology인용 수 3

한 줄 요약

이 논문은 시간이 급한 부분 관찰 가능한 다중 에이전트 환경에서 팀워크를 향상시키기 위해 애자일러닝을 사용하는 자동 간섭 프레임워크인 TIC를 제안한다. 시연 데이터로부터 팀 행동의 생성 모델을 학습하고 베이지안 추론을 적용하여 간섭 정책을 계산함으로써, 불확실성 하에서의 협업이 필요한 시뮬레이션 환경에서 팀 성능을 크게 향상시킨다.

ABSTRACT

Effective human-human and human-autonomy teamwork is critical but often challenging to perfect. The challenge is particularly relevant in time-critical domains, such as healthcare and disaster response, where the time pressures can make coordination increasingly difficult to achieve and the consequences of imperfect coordination can be severe. To improve teamwork in these and other domains, we present TIC: an automated intervention approach for improving coordination between team members. Using BTIL, a multi-agent imitation learning algorithm, our approach first learns a generative model of team behavior from past task execution data. Next, it utilizes the learned generative model and team's task objective (shared reward) to algorithmically generate execution-time interventions. We evaluate our approach in synthetic multi-agent teaming scenarios, where team members make decentralized decisions without full observability of the environment. The experiments demonstrate that the automated interventions can successfully improve team performance and shed light on the design of autonomous agents for improving teamwork.

연구 동기 및 목표

• 의료 및 재난 대응과 같은 시간이 급한 도메인에서 부분 관찰 가능성과 시간 압박으로 인해 팀 성과가 저하되는 불완전한 협업 문제를 해결하기 위해.
• 전체 관찰 가능성이나 중심 집중 제어 없이도 작동하는 자동화된 실시간 간섭 시스템을 개발하기 위해.
• 역사적 팀 실행 데이터에서 협업 패턴을 추출하고 실행 가능한, 맥락 인식 간섭을 생성하기 위해 애자일러닝을 활용하기 위해.
• 팀 정신 상태를 모델링하고 유연한 생성 모델을 사용해 정책 추론을 위한 계산 가능성을 확보함으로써 확장 가능하고 해석 가능한 간섭을 가능하게 하기 위해.
• 분산된 의사결정과 불확실성 하에서의 자동 간섭의 효과성을 시뮬레이션된 다중 에이전트 환경에서 평가하기 위해.

제안 방법

• TIC는 전문가 시연 데이터로부터 팀 행동의 생성 모델을 학습하기 위해 다중 에이전트 애자일러닝 알고리즘인 BTIL을 사용한다.
• 이 방법은 환경 상태와 에이전트의 정신 상태(믿음, 의도)를 모두 포함한 공동 상태-행동 분포를 통해 팀 협업을 모델링한다.
• 다양한 행동에 따른 미래 팀 행동 예측과 정신 상태의 사후 분포 추정을 통해 베이지안 추론을 사용해 간섭 정책을 계산한다.
• 팀 성과와 협업 품질을 균형 잡는 가치 함수를 최대화함으로써 간섭 정책을 유도하며, 상태-정신 상태 쌍 간의 호환성 함수를 사용한다.
• 관측과 행동에 기반한 믿음 갱신을 모델링하기 위해 도메인 특화의 '일반적인 지식' 규칙을 수작업으로 정의하여 정신 상태 전이를 구현한다.
• 미래 팀 성과와 협업 안정성에 간섭이 미치는 영향을 고려한 계획 문제를 해결함으로써 간섭 행동을 계산한다.

실험 결과

연구 질문

• RQ1 부분 관찰 가능하고 시간이 급한 다중 에이전트 작업에서 자동화된 실시간 간섭이 팀 성과를 향상시킬 수 있는가?
• RQ2 명시적 보상 형식화나 전체 관찰 가능성 없이도 애자일러닝을 어떻게 활용해 효과적인 간섭을 모델링하고 생성할 수 있는가?
• RQ3 정신 상태 표현은 분산된 팀워크에서 효과적이고 해석 가능한 간섭을 가능하게 하는 데 어떤 역할을 하는가?
• RQ4 팀 상태와 정신 상태 간의 호환성 함수는 생성된 간섭의 품질에 어떤 영향을 미치는가?
• RQ5 제안된 프레임워크는 불확실성 하에서 더 큰 팀과 더 복잡한 협업 작업으로 확장 가능한가?

주요 결과

• 부분 관찰 가능성 하에서의 협업이 필요한 시뮬레이션 다중 에이전트 시나리오에서 TIC는 누적 보상과 작업 완료율이 높아지며 팀 성과를 크게 향상시킨다.
• 애자일러닝 기반의 생성 모델을 사용함으로써, 에이전트가 상황 인식을 완전히 갖추지 못한 상태에서도 효과적인 간섭 전략을 유추할 수 있다.
• TIC가 생성한 간섭은 협업 실패를 줄이고, 특히 압박감이 크고 시간이 급한 작업에서 계획 일관성을 향상시킨다.
• Movers, Cleanup, Flood, Blackout와 같은 다양한 팀워크 도메인에서 프레임워크는 강건성을 보이며, 각각 고유한 협업 과제를 가지고 있다.
• 정신 상태 모델링의 통합은 가시성과 맥락 민감 간섭을 향상시키며 팀 역학에 적응하는 데 기여한다.
• 유연한 추론 메커니즘 덕분에 메서드는 다중 에이전트 설정으로 효과적으로 확장되며, 팀 규모가 증가함에 따라 성능 향상이 관찰된다.