[논문 리뷰] Solving Structured Hierarchical Games Using Differential Backward Induction

Zun Li, Feiran Jia외 5명|arXiv (Cornell University)|2021. 06. 08.

Opinion Dynamics and Social Influence참고 문헌 51인용 수 7

한 줄 요약

이 논문은 보상이 자기 행동, 부모의 행동, 그리고 모든 리프 플레이어의 행동에 의존하는 순차적이고 트리 구조를 가진 전략적 상호작용을 위한 새로운 모델인 구조적 계층 게임(Structured Hierarchical Games, SHGs)을 소개한다. 이는 하향식으로 행동을 결정하는 조직 및 정치 체계의 계층적 의사결정을 모델링하기 위한 것이다. 또한, 하향식으로 유용성 기울기를 역전파하는 기반으로 작동하는 기울기 기반 알고리즘인 미분적 뒷걸음걸이(Differential Backward Induction, DBI)를 제안하며, 이는 하위게임 완전 균형을 효율적으로 근사한다. DBI는 전염병 정책, 공공재, 보안 게임 등 다양한 분야에서 기존 기준 방법 대비 뛰어난 수렴 속도와 안정성을 보였다.

ABSTRACT

From large-scale organizations to decentralized political systems, hierarchical strategic decision making is commonplace. We introduce a novel class of structured hierarchical games (SHGs) that formally capture such hierarchical strategic interactions. In an SHG, each player is a node in a tree, and strategic choices of players are sequenced from root to leaves, with root moving first, followed by its children, then followed by their children, and so on until the leaves. A player's utility in an SHG depends on its own decision, and on the choices of its parent and all the tree leaves. SHGs thus generalize simultaneous-move games, as well as Stackelberg games with many followers. We leverage the structure of both the sequence of player moves as well as payoff dependence to develop a gradient-based back propagation-style algorithm, which we call Differential Backward Induction (DBI), for approximating equilibria of SHGs. We provide a sufficient condition for convergence of DBI and demonstrate its efficacy in finding approximate equilibrium solutions to several SHG models of hierarchical policy-making problems.

연구 동기 및 목표

• 상위에서 하위로 확산되는 의사결정이 최하위 수준의 결과에 영향을 미치는 조직 및 정치 체계에서의 계층적 전략적 의사결정을 모델링하기 위해.
• 이동 순서와 트리 구조를 통해 상호의존적인 보상 구조를 포함하는 새로운 게임 클래스인 구조적 계층 게임(SHGs)을 정식화하기 위해.
• 伝통적인 최적 반응 동역학의 한계를 극복하고, SHGs에서 하위게임 완전 균형을 근사하기 위한 확장 가능하고 미분 가능한 알고리즘을 개발하기 위해.
• 실제 세계를 반영한 계층적 정책 수립 문제, 특히 전염병 통제, 공공재, 보안 투자 문제에 대해 제안된 방법을 경험적으로 검증하기 위해.

제안 방법

• 플레이어가 트리의 노드로 구성되고 루트에서 리프로 순차적으로 행동하는 게임이론적 모델인 구조적 계층 게임(SHGs)을 제안하며, 보상은 자기 행동, 부모의 행동, 그리고 모든 리프 플레이어의 행동에 의존한다.
• 신경망에서의 역전파와 유사하게 트리 구조를 따라 유용성 기울기를 역전파하여 행동을 갱신하는 기울기 상승 알고리즘인 미분적 뒷걸음걸이(DBI)를 개발한다.
• 특히 리프 노드에서 동일 수준의 플레이어들 간에 동시 기울기 갱신을 적용하여 계층적 환경에서의 확장 가능한 최적화를 가능하게 한다.
• DBI의 수렴성을 보장하기 위해 동역학계 모델링을 통해 수렴을 위한 충분조건을 도출하였으며, 이는 보상 함수의 매끄럽고 유계인 조건 하에서 안정성을 보장한다.
• 전략 제약 조건(예: [0,1] 범위)을 강제하기 위해 투영 연산자를 사용하며, 행동 프로파일의 안정성 또는 기울기의 소멸을 수렴 기준으로 정의한다.
• 학습률 스케줄링과 기울기 노름 및 행동 프로파일 안정성 기반 수렴 검사를 포함한 투영 기반 기울기 하강법을 적용한다.

실험 결과

연구 질문

• RQ1 복잡한 보상 의존성 구조를 가진 계층 게임에서, 기울기 기반의 역전파 스타일 알고리즘이 균형을 효과적으로 근사할 수 있는가?
• RQ2 DBI의 수렴 속도와 안정성 측면에서 기존 최적 반응 동역학(BRD) 및 다른 기울기 기반 기준 방법 대비 성능은 어떻게 비교되는가?
• RQ3 연속 행동 공간과 비선형 보상 함수를 가진 다수준 계층 게임에 대해 DBI는 어느 정도 확장 가능한가?
• RQ4 이론적으로 예상되는 바와 같이, 두 플레이어의 제로섬 스택엘베르크 게임에서 DBI는 局부 스택엘베르크 균형으로 수렴하는가?
• RQ5 DBI는 전염병 통제 및 공공재 제공과 같은 실제 세계의 계층적 정책 수립 문제 해결에 얼마나 효과적인가?

주요 결과

• DBI는 최적 반응 동역학(BRD)보다 수렴 속도가 빠르며, 이는 조잡한 이산화 조건 하에서도 이중 이상의 빠른 수렴 속도를 보였다.
• 11개의 이산화 포인트를 가진 3단계 게임에서, DBI는 런타임과 안정성 측면에서 BRD를 모두 능가하였으며, 특히 BRD의 초기 조건과 랜덤성에 민감한 점을 고려할 때 뚜렷한 우월성을 보였다.
• 전염병 정책 수립 모델에 대해 DBI는 안정적인 수렴을 보이며, 최신 기울기 기반 기준 방법보다 뛰어난 성능을 보였다.
• Zachary의 카레이 클럽 네트워크를 기반으로 한 계층적 공공재 게임에서, DBI는 학습률 0.1과 [0,1] 구간으로의 전략 투영 조건 하에서 안정적인 수렴을 달성하였으며, 다수의 이산화 수준을 가진 BRD를 능가하였다.
• 10명의 에이전트가 포함된 계층적 보안 투자 게임에서, DBI는 낮은 준수 수준(κ=0.1)과 높은 이기심 수준(κ=0.5) 모두에서 안정적으로 수렴하였으며, 전략 범위는 [0,1]로 제약되었다.
• 이론적 분석을 통해 DBI가 충분한 조건 하에서 안정점으로 수렴하며, 두 플레이어의 제로섬 스택엘베르크 게임에서는 국소 스택엘베르크 균형으로 수렴하는 것으로 확인되었다.