[논문 리뷰] Operator Splitting for Learning to Predict Equilibria in Convex Games

Daniel McKenzie, Howard Heaton외 4명|arXiv (Cornell University)|2021. 06. 02.

Model Reduction and Neural Networks참고 문헌 50인용 수 4

한 줄 요약

이 논문은 맥락 기반 데이터를 사용하여 볼록 게임의 균형을 예측하는 딥러닝 프레임워크인 내쉬 고정점 네트워크(Nash Fixed Point Networks, N-FPNs)를 소개한다. 연산자 분할과 제약 조건 분리, 해시안을 사용하지 않는 역전파를 활용함으로써 N-FPNs는 비용이 많이 드는 투영을 피하고 균형을 효율적으로 계산하여 대규모 문제, 예를 들어 교통 유량 최적화에 대해 기존 방법보다 정확도와 속도 면에서 뛰어난 확장성 있는 훈련과 추론을 가능하게 한다.

ABSTRACT

Systems of competing agents can often be modeled as games. Assuming rationality, the most likely outcomes are given by an equilibrium (e.g. a Nash equilibrium). In many practical settings, games are influenced by context, i.e. additional data beyond the control of any agent (e.g. weather for traffic and fiscal policy for market economies). Often the exact game mechanics are unknown, yet vast amounts of historical data consisting of (context, equilibrium) pairs are available, raising the possibility of learning a solver which predicts the equilibria given only the context. We introduce Nash Fixed Point Networks (N-FPNs), a class of neural networks that naturally output equilibria. Crucially, N- FPNs employ a constraint decoupling scheme to handle complicated agent action sets while avoiding expensive projections. Empirically, we find N-FPNs are compatible with the recently developed Jacobian-Free Backpropagation technique for training implicit networks, making them significantly faster and easier to train than prior models. Our experiments show N-FPNs are capable of scaling to problems orders of magnitude larger than existing learned game solvers.

연구 동기 및 목표

• 비용 함수가 알려져 있지 않지만 (맥락, 균형) 쌍이 가용한 맥락 기반 볼록 게임에서 균형을 예측하기 위한 확장 가능한 데이터 기반 프레임워크를 개발하는 것.
• 이전의 학습된 게임 해법기에서 투영 기반 방법의 계산적 한계를 해결하기 위해 삼연산자 분할을 활용한 제약 조건 분리 기법을 도입하는 것.
• 복잡한 행동 집합 제약 조건을 충족시키면서도 유효한 균형을 출력하는 신경망의 엔드 투 엔드 훈련을 가능하게 하는 것.
• 대각선 엄격 볼록성 조건을 만족하는 게임에 대해 내쉬 균형을 근사하는 데 있어 N-FPNs의 보편성(universality)을 입증하는 것.
• 동일한 프레임워크를 활용해 워드롭 균형 및 양자화 반응 균형과 같은 관련 균형 유형으로의 적용을 확장하는 것.

제안 방법

• N-FPNs는 고정점이 내쉬 균형에 해당하는 연산자를 정의하는 암묵적 신경망이며, 수렴할 때까지 반복 적용하여 계산된다.
• 이 방법은 제약 조건 분리 기반의 삼연산자 분할에서 유도된 제약 조건 분리 기법을 사용하여 에이전트 행동 집합에 대한 비용이 많이 드는 투영을 피한다.
• 연산자는 맥락 $d$ 를 게임의 기울기로 매핑하는 신경망에 의해 매개변수화되어 있으며, 균형 예측의 엔드 투 엔드 학습을 가능하게 한다.
• 전방 전파에서는 분리 기반의 명시적 투영 공식을 사용하여 반복적 투영 없이 효율적인 추론이 가능하다.
• 역전파에서는 해시안을 명시적으로 계산하지 않는 역전파(Jacobian-free backpropagation, JFB)를 활용하여 네트워크를 효율적으로 훈련시킨다.
• 이 프레임워크는 변동 불등식 문제로 일반화되어 있어 볼록 최적화 및 물리 시뮬레이션 문제 등에 적용 가능하다.

실험 결과

연구 질문

• RQ1 기본 비용 함수를 알지 못하는 맥락 기반 볼록 게임에서 균형을 예측할 수 있는 딥러닝 모델을 훈련시킬 수 있는가?
• RQ2 학습된 게임 해법기에서 제약 조건 처리를 정확도나 제약 조건 충족도를 희생시키지 않고 계산적으로 효율적으로 만들 수 있는가?
• RQ3 N-FPN 아키텍처는 대각선 엄격 볼록성 조건을 만족하는 게임의 클래스에 대해 보편 근사가 가능한가?
• RQ4 N-FPNs는 고차원 행동 집합을 가진 대규모 문제, 예를 들어 교통 유량 최적화 문제에 대해 확장 가능한가?
• RQ5 이 프레임워크는 워드롭 또는 양자화 반응 균형과 같은 다른 유형의 균형을 예측하는 데에도 확장 가능한가?

주요 결과

• N-FPNs는 TRAFIX 벤치마크에서 워드롭 균형을 거의 완벽하게 예측하며, 상대적 MSE와 TRAFIX 점수 모두 훈련 중 수렴하는 경향을 보였다.
• N-FPNs 프레임워크는 기존의 학습된 게임 해법기보다 수개의 차수 더 큰 문제에까지 확장 가능하며, 수백 개의 고차원 다면체를 포함한 교통 네트워크 문제에도 적용 가능하다.
• 제약 조건 분리 기법 덕분에 명시적 투영 공식이 가능해져 반복적 투영이 필요 없어지며, 전방 및 역방향 전파 속도가 크게 향상되었다.
• 해시안을 사용하지 않는 역전파 기법 덕분에 암묵적 N-FPN 아키텍처의 효율적 훈련이 가능해져 대규모 데이터 기반 훈련이 현실적으로 가능해졌다.
• 실험 결과 N-FPNs는 대규모 교통 유량 최적화 문제에서 정확도와 확장성 면에서 기존의 피드포워드 신경망을 모두 뛰어넘었다.
• N-FPN 모델은 대각선 엄격 볼록성 조건을 만족하는 맥락 기반 게임에 대해 보편 근사자로 작용함을 입증하였으며, 이는 이론적 표현 능력을 보여준다.