[논문 리뷰] Distributed Multi-agent Interaction Generation with Imagined Potential Games

Lingfeng Sun, Pin-Yun Hung외 3명|arXiv (Cornell University)|2023. 10. 02.

Human Motion and AnimationEngineering인용 수 3

한 줄 요약

이 논문은 통신 없이 협력적 주행을 가능하게 하기 위해 상상된 잠재 게임(Imagined Potential Games, IPG)을 사용하는 분산 다중 에이전트 상호작용 생성 프레임워크를 제안한다. 각 에이전트는 다른 이의 행동을 상상함으로써 협력 게임을 독립적으로 해결하며, 궤적 최적화에 iLQR를 사용한다. 이 방법은 협착이 빈번한 복잡한 환경, 예를 들어 좁은 복도나 T자 교차로와 같은 환경에서도 높은 성공률과 효율적이며 현실적인 상호작용을 달성한다.

ABSTRACT

Interactive behavior modeling of multiple agents is an essential challenge in simulation, especially in scenarios when agents need to avoid collisions and cooperate at the same time. Humans can interact with others without explicit communication and navigate in scenarios when cooperation is required. In this work, we aim to model human interactions in this realistic setting, where each agent acts based on its observation and does not communicate with others. We propose a framework based on distributed potential games, where each agent imagines a cooperative game with other agents and solves the game using its estimation of their behavior. We utilize iLQR to solve the games and closed-loop simulate the interactions. We demonstrate the benefits of utilizing distributed imagined games in our framework through various simulation experiments. We show the high success rate, the increased navigation efficiency, and the ability to generate rich and realistic interactions with interpretable parameters. Illustrative examples are available at https://sites.google.com/berkeley.edu/distributed-interaction.

연구 동기 및 목표

• 직접적인 통신 없이도 협착이 빈번한 환경에서 인간과 유사한 협력적 다중 에이전트 상호작용을 모델링하기 위해.
• 에이전트가 직접 협력할 수 없는 분산 계획에서 발생하는 정체 문제를 해결하기 위해.
• 좁은 통로나 T자 교차로와 같이 상호 양보가 필요한 시나리오에서 성공률과 주행 효율을 향상시키기 위해.
• 안전 거리와 비용 가중치와 같은 조정 가능한 파rameter를 통해 다양하고 해석 가능한 현실적인 상호작용 행동을 생성하기 위해.
• 비협력적 또는 비-IPG 제어기를 갖춘 이질적인 에이전트와의 상호작용을 가능하게 하여 사회적 주행 알고리즘 평가에 기여하기 위해.

제안 방법

• 각 에이전트는 다른 이들과 함께 상상된 잠재 게임을 구성하여 협력을 공동 최적화 문제로 간주한다.
• 프레임워크는 반복적 선형 정규화 제어기(iLQR)를 사용하여 협력 게임을 해결하고 개방 루프 계획을 생성한다.
• 후행 수평 제어를 갖춘 닫힌 루프 시뮬레이션을 통해 에이전트는 실시간 관측에 기반해 계획을 적응적으로 수정할 수 있다.
• 최적화 과정에는 장애물과의 충돌 방지, 에이전트별 관측 범위, 맹공간을 고려하여 현실적인 인지 모델링이 포함된다.
• 에이전트는 공유된 게임 구조를 통해 다른 이의 행동을 추정함으로써 통신 없이도 협력적 양보를 가능하게 한다.
• 안전 거리와 비용 가중치와 같은 파라미터를 조절하여 다양한 해석 가능한 행동 패턴을 생성할 수 있다.

Figure 1: A narrow-way problem challenging to solve in the distributed and no-communication setting. There’s no collision-free for single-agent navigation, and agents must cooperate (one moving backward to yield the other agent) to solve the problem. We propose adding imagined cooperation in distrib

실험 결과

연구 질문

• RQ1 분산적이고 통신이 없는 프레임워크가 협착이 빈번한 환경에서 현실적이고 협력적인 다중 에이전트 상호작용을 생성할 수 있는가?
• RQ2 기본적인 분산 계획 대비 상상된 잠재 게임 계획이 성공률과 주행 효율에 어떻게 기여하는가?
• RQ3 IPG가 파arameter 조정을 통해 얼마나 다양한 해석 가능한 상호작용 행동을 생성할 수 있는가?
• RQ4 IPG 에이전트는 비-IPG 에이전트, 비협력적 또는 일정 속도 예측자와도 견고하게 상호작용할 수 있는가?
• RQ5 닫힌 루프 시뮬레이션에서 IPG 프레임워크는 개방 루프 정체 상황에서 어떻게 복구하는가?

주요 결과

• IPG 프레임워크는 기존의 기본 분산 에이전트에 비해 좁은 통로나 T자 교차로 시나리오에서 성공률을 크게 향상시킨다.
• 닫힌 루프 시뮬레이션을 통해 모순된 개방 루프 계획에서도 수렴이 가능하며, 적응적 예측 보정을 통해 정체 상황에서 복구할 수 있다.
• IPG 에이전트는 다른 에이전트가 처음에는 보이지 않더라도 교차로에서 양보하거나 대기하는 인간과 유사한 행동을 생성한다.
• 안전 거리와 비용 가중치를 조절함으로써 더 보수적이거나 더 민첩한 주행 전략을 포함한 다양한 해석 가능한 행동 패턴을 생성할 수 있다.
• IPG 에이전트는 일정 속도 예측자나 비협력적 에이전트와도 성공적으로 상호작용하여 견고성을 입증한다.
• 조정 가능한 상호작용 파라미터를 갖춘 IPG 에이전트를 통해 사회적 주행 알고리즘의 효과적인 평가가 가능해진다.

Figure 2: An example interaction generated in T-intersection. From left to right is the closed-loop trajectory over time. Solid lines are past trajectories; darker and lighter dotted lines are plans of ego agents and predictions of other agents (e.g., the light blue line is the predicted green agent