[논문 리뷰] Learning Game-Theoretic Models of Multiagent Trajectories Using Implicit Layers

Philipp Geiger, Christoph-Nikolas Straehle|arXiv (Cornell University)|2020. 08. 17.

Time Series Analysis and Forecasting인용 수 6

한 줄 요약

이 논문은 다중 에이전트 궤적 예측을 위해 국소 내쉬 균형을 해석 가능한 궤적 모드로 모델링하는 엔드 투 엔드 미분 가능한 아키텍처를 제안한다. 신경망과 게임 이론적 추론을 결합하여, 암시적 레이어를 사용해 게임 해법을 미분 가능하게 하고, 에이전트 선호도와 균형 정련을 학습하며, 고속도로 융합 시나리오에서 최신 기술 수준의 성능을 달성한다. 이는 해석 가능하고 이식 가능한 표현을 제공한다.

ABSTRACT

For prediction of interacting agents' trajectories, we propose an end-to-end trainable architecture that hybridizes neural nets with game-theoretic reasoning, has interpretable intermediate representations, and transfers to downstream decision making. It uses a net that reveals preferences from the agents' past joint trajectory, and a differentiable implicit layer that maps these preferences to local Nash equilibria, forming the modes of the predicted future trajectory. Additionally, it learns an equilibrium refinement concept. For tractability, we introduce a new class of continuous potential games and an equilibrium-separating partition of the action space. We provide theoretical results for explicit gradients and soundness. In experiments, we evaluate our approach on two real-world data sets, where we predict highway driver merging trajectories, and on a simple decision-making transfer task.

연구 동기 및 목표

• 자율 주행과 같은 안전이 중요한 도메인에서 다중 에이전트 궤적 예측의 과제를 해결하기 위해, 설명 가능성과 검증 가능성이 필수적인 환경에서의 예측을 목표로 한다.
• 기존에 잘 알려진 게임 이론 원칙(예: 수단적 합리성, 내쉬 균형)을 데이터 기반 모델에 통합하여 일반화 능력 향상과 의사결정 이식 가능성 향상을 도모한다.
• 게임 이론 개념(예: 선호도, 균형, 정련)을 의미 있는 잠재 표현에 코딩하여 모델의 설명 가능성을 확보한다.
• 기존 게임 이론적 해법 개념의 계산 비가역성 문제를 극복하기 위해, 암시적 레이어를 통한 정확한 기울기 전파를 통해 엔드 투 엔드 학습을 가능하게 한다.
• 후속 의사결정 작업과 균형 정련 학습을 지원하는 모듈식이고 확장 가능한 아키텍처를 개발한다.

제안 방법

• 다중 에이전트 궤적 상호작용을 모델링하기 위해 연속형 포텐셜 게임의 새로운 클래스를 제안하여 국소 내쉬 균형이 단일 목표 함수의 국소 최적점과 일치하도록 보장한다.
• 국소 균형의 계산이 가능하고 연속적이도록 행동 공간에 대한 균형 분리 가능한 오목 분할을 도입한다.
• 암시 함수 정리에 기반한 암시적 레이어를 사용해 과거 궤적에서 유도된 에이전트 선호도를 국소 내쉬 균형으로 매핑하며, 게임 해법기 내 정확한 역전파를 가능하게 한다.
• 관측된 공동 궤적에서 유용도 파rameter를 추론하는 선호도 드러내기 네트워크와 다수의 균형 중에서 선택 기준을 학습하는 균형 정련 네트워크를 설계한다.
• 각 모드가 별개의 국소 내쉬 균형에 해당하는 다중 모달 예측을 생성하기 위해 궤적 매개변수화 및 가중치 네트워크를 활용한다.
• 최적성 조건을 사용해 암시적 레이어의 명시적 기울기 공식을 유도하여 이론적 타당성과 효율적인 학습을 보장한다.

실험 결과

연구 질문

• RQ1 게임 이론적 추론을 딥 러닝과 융합한 다중 에이전트 궤적 예측을 위한, 미분 가능하고 엔드 투 엔드 학습이 가능한 아키텍처를 설계할 수 있는가?
• RQ2 모델의 잠재 표현이 명확한 게임 이론적 해석을 가지도록 보장할 수 있는가? 이를 통해 설명 가능성과 검증 가능성을 확보할 수 있는가?
• RQ3 정확한 기울기를 갖는 암시적 레이어를 사용해 연속 행동 공간에서의 국소 내쉬 균형을 풀 수 있는 정도는 어느 정도인가?
• RQ4 모델이 데이터로부터 균형 정련 개념을 학습할 수 있는가? 이를 통해 게임 이론의 고전적 문제인 균형 선택 문제를 해결할 수 있는가?
• RQ5 제안된 아키텍처는 실제 세계 시나리오로 일반화되며, 후속 의사결정 작업에 이식 가능한가?

주요 결과

• 제안된 아키텍처는 실생활 고속도로 융합 궤적 예측 데이터셋 두 개(최근에 공개된 것도 포함)에서 최신 기술 수준의 성능을 달성한다.
• 모델은 각 모드가 별개의 국소 내쉬 균형에 해당하는 다중 모달 미래 궤적을 성공적으로 예측한다. 예를 들어, 어느 차량이 먼저 융합할지를 나타내는 모드가 포함된다.
• 연속형 포텐셜 게임의 사용으로 국소 내쉬 균형이 안정적이며 국소 최적점과 일치함을 보장하여 검색을 단순화하고 수렴을 향상시킨다.
• 암시적 레이어를 통해 게임 해법기 내 정확한 기울기가 전파되어 엔드 투 엔드 학습이 가능하며, 타당성과 미분 가능성에 대한 이론적 보장을 제공한다.
• 균형 정련 및 가중치 네트워크는 균형 간의 데이터 기반 선택 규칙을 학습하여 고전적인 게임 이론 문제인 예측의 유일성 부재 문제를 효과적으로 해결한다.
• 모델는 후속 의사결정 작업으로의 강력한 이식 가능성을 보이며, 자율 주행과 같은 안전이 중요한 응용 분야에서의 유용성을 시사한다.