[논문 리뷰] Inference-Based Strategy Alignment for General-Sum Differential Games

Lasse Peters, David Fridovich-Keil외 2명|arXiv (Cornell University)|2020. 02. 11.

Artificial Intelligence in Games참고 문헌 34인용 수 7

한 줄 요약

이 논문은 다수의 균형을 가진 일반합 differential 게임에 대해 추론 기반 전략 정렬 프레임워크를 제안한다. 입자 필터링을 사용해 다른 에이전트가 타겟으로 삼는 균형을 추론하고, 로봇의 전략을 이를 기반으로 정렬함으로써 실시간 정확한 궤적 예측을 가능하게 하며, 모든 플레이어의 비용을 절감한다. 이는 최대 5명의 에이전트를 포함한 다중 플레이어 인간-로봇 주행 시뮬레이션에서 입증되었다.

ABSTRACT

In many settings where multiple agents interact, the optimal choices for each agent depend heavily on the choices of the others. These coupled interactions are well-described by a general-sum differential game, in which players have differing objectives, the state evolves in continuous time, and optimal play may be characterized by one of many equilibrium concepts, e.g., a Nash equilibrium. Often, problems admit multiple equilibria. From the perspective of a single agent in such a game, this multiplicity of solutions can introduce uncertainty about how other agents will behave. This paper proposes a general framework for resolving ambiguity between equilibria by reasoning about the equilibrium other agents are aiming for. We demonstrate this framework in simulations of a multi-player human-robot navigation problem that yields two main conclusions: First, by inferring which equilibrium humans are operating at, the robot is able to predict trajectories more accurately, and second, by discovering and aligning itself to this equilibrium the robot is able to reduce the cost for all players.

연구 동기 및 목표

• 다수의 균형이 존재해 에이전트 행동에 불확실성을 초래하는 일반합 differential 게임에서의 전략 정렬 문제를 해결하기 위해.
• 직접적인 통신 없이도 자율 에이전트가 다른 에이전트가 타겟으로 삼는 균형을 추론할 수 있도록 하기 위해.
• 추론된 균형에 기반해 로봇의 전략을 정렬함으로써 궤적 예측 정확도를 향상시키고 전체 시스템 비용을 감소시키기 위해.
• 국소 네시 균형을 가진 다중에이전트 연속시간 게임을 위한 실시간, 확장 가능한 계획 프레임워크를 개발하기 위해.
• 입자 필터링을 활용해 가능한 균형들에 대한 믿음을 유지함으로써 불확실성 하에서 견고한 의사결정을 가능하게 하기 위해.

제안 방법

• 프레임워크는 다른 에이전트의 타겟 균형을 숨겨진 상태로 모델링하고, 관측된 행동과 샘플링된 국소 네시 전략을 사용해 입자 필터링을 통해 추론한다.
• 각 입자는 후보 균형과 그에 해당하는 피드백 전략을 나타내며, 관측된 행동에 따라 업데이트된다.
• 믿음 업데이트는 각 후보 균형 하에서 예측된 궤적과 관측된 에이전트 궤적을 비교하는 가능도 함수를 사용한다.
• 로봇는 믿음 분포에서 가장 가능성 높은 균형을 기반으로 계획을 수립함으로써 전략 정렬을 달성한다.
• 이 방법은 연속시간 일반합 differential 게임에서 국소 네시 균형을 효율적으로 계산하는 최근의 기술 발전을 활용한다.
• 후행 수평 접근법을 통해 실시간 운영이 가능하며, 입자 정제와 균형 해법기의 웜스타트를 통해 런타임을 단축시킨다.

실험 결과

연구 질문

• RQ1 자율 에이전트는 다수의 균형이 존재하는 일반합 differential 게임에서 다른 에이전트가 타겟으로 삼는 균형을 어떻게 추론할 수 있는가?
• RQ2 타겟 균형을 추론하는 것이 다중에이전트 주행 시나리오에서 궤적 예측 정확도를 향상시키는가?
• RQ3 추론된 균형에 기반해 로봇의 전략을 정렬하면, 무작위 또는 불일치하는 전략 선택보다 모든 플레이어의 비용을 감소시키는가?
• RQ4 이론적 추론 기반 전략 정렬 프레임워크는 고차원 다중에이전트 환경에서 얼마나 확장 가능한가?
• RQ5 균형 계산과 믿음 업데이트의 계산 비용에도 불구하고, 이 프레임워크는 실시간 성능을 유지를 할 수 있는가?

주요 결과

• 3명의 플레이어가 참여한 주행 시나리오에서, 인간 에이전트가 타겟으로 삼는 균형을 추론함으로써 로봇은 훨씬 더 정확한 궤적 예측을 달성했다.
• 추론된 균형에 기반한 전략 정렬은 모든 플레이어의 비용을 감소시켰으며, 특히 자율 에이전트의 비용 효율성 향상이 두드러졌다.
• 3명의 플레이어 시나리오에서 실시간 성능을 달성했으며, 계획 단계당 평균 2ms 미만의 런타임을 기록했다.
• 5명의 플레이어 시나리오에서는 믿음 정련 후 평균 계획 시간이 3.2초였으며, 입자 정제와 웜스타트로 인해 계산 부담이 감소했다.
• 프레임워크는 확장성과 강건성을 입증했으며, 에이전트 수가 증가하고 균형의 다수성도 증가함에 따라 성능 유지가 가능했다.
• 믿음 기반 접근법은 무작위 또는 불일치하는 균형을 가정한 베이스라인에 비해 복잡하고 고불확실성 환경에서 뛰어난 성능을 보였다.