[論文レビュー] Solving Structured Hierarchical Games Using Differential Backward Induction

Zun Li, Feiran Jia+5 more|arXiv (Cornell University)|Jun 8, 2021

Opinion Dynamics and Social Influence参考文献 51被引用数 7

ひとこと要約

本稿は、報酬が自らの行動、親の行動、およびすべてのリーフプレーヤーの行動に依存する、順序的で木構造的な戦略的対話のための新しいモデルである構造的階層ゲーム（SHGs）を導入する。また、勾配ベースのバックプロパゲーション風のアルゴリズムである微分的後退インダクション（DBI）を提案し、部分ゲーム完全均衡を効率的に近似する。疫学的政策、公共財、セキュリティゲームの分野において、ベースライン手法に比べて優れた収束速度と安定性を示している。

ABSTRACT

From large-scale organizations to decentralized political systems, hierarchical strategic decision making is commonplace. We introduce a novel class of structured hierarchical games (SHGs) that formally capture such hierarchical strategic interactions. In an SHG, each player is a node in a tree, and strategic choices of players are sequenced from root to leaves, with root moving first, followed by its children, then followed by their children, and so on until the leaves. A player's utility in an SHG depends on its own decision, and on the choices of its parent and all the tree leaves. SHGs thus generalize simultaneous-move games, as well as Stackelberg games with many followers. We leverage the structure of both the sequence of player moves as well as payoff dependence to develop a gradient-based back propagation-style algorithm, which we call Differential Backward Induction (DBI), for approximating equilibria of SHGs. We provide a sufficient condition for convergence of DBI and demonstrate its efficacy in finding approximate equilibrium solutions to several SHG models of hierarchical policy-making problems.

研究の動機と目的

• 上位から下位へと意思決定が伝播し、最下位レベルの結果に影響を与える組織や政治的制度における階層的戦略的意思決定をモデル化すること。
• 移動順序と木構造上の報酬依存関係を組み合わせた、同時手番ゲームやスターケルベルクゲームを一般化する新しいゲームクラス「構造的階層ゲーム（SHGs）」を形式化すること。
• 従来の最適応答ダイナミクスの制限を克服し、SHGsにおける部分ゲーム完全均衡を近似するスケーラブルで微分可能なアルゴリズムを開発すること。
• 疫学的政策、公共財、セキュリティ投資といった、現実世界を模した階層的政策意思決定問題に対して、提案手法の実証的妥当性を検証すること。

提案手法

• プレーヤーが木構造のノードとして配置され、ルートからリーフへと逐次行動するゲーム理論的モデルとして、構造的階層ゲーム（SHGs）を提唱。報酬は自らの行動、親の行動、およびすべてのリーフプレーヤーの行動に依存する。
• バックプロパゲーションと類似した方法で木構造を通じて報酬勾配を逆伝播させ、行動を更新する勾配上昇アルゴリズム「微分的後退インダクション（DBI）」を開発。
• 特にリーフノードで、同じレベルのプレーヤー間で同時に勾配更新を行うことで、階層的設定におけるスケーラブルな最適化を可能にする。
• DBIの収束を保証する十分条件を、動的システムとしてモデル化することで確立。報酬関数の滑らかさと有界性の条件下で安定性を保証する。
• 制約（例：[0,1] の境界）を満たすためにプロジェクション演算子を適用し、行動プロファイルの安定化または勾配の消滅を収束の基準として定義。
• 学習率スケジューリングと勾配ノルム・行動プロファイルの安定性に基づく収束チェックを含む、プロジェクション付き勾配降下スキームを採用。

実験結果

リサーチクエスチョン

• RQ1 複雑な報酬依存関係を持つ階層ゲームにおいて、バックプロパゲーション風の微分可能なアルゴリズムが均衡を効果的に近似できるか。
• RQ2 収束速度と安定性の観点から、DBIは最適応答ダイナミクス（BRD）や他の勾配ベースのベースライン手法に比べてどのように性能を発揮するか。
• RQ3 連続的行動空間と非線形報酬関数を有する多段階階層ゲームにおいて、DBIはどの程度スケーラブルに機能するか。
• RQ4 理論的に期待されるように、2プレーヤーのゼロサムスターケルベルクゲームでは、DBIが局所的スターケルベルク均衡に収束するか。
• RQ5 疫学的対策や公共財の提供といった現実世界の階層的政策意思決定問題において、DBIはどの程度有効か。

主な発見

• DBIは最適応答ダイナミクス（BRD）よりも著しく高速に収束し、2段階のSHG問題では、粗い離散化でさえも2倍以上速い。
• 11個の離散化ポイントを持つ3段階ゲームにおいて、DBIは実行時間と安定性の両面でBRDを上回っている。BRDは初期値や確率的要因に敏感であるのに対し、DBIは安定している。
• 疫学的政策意思決定モデルでは、DBIが安定した収束を示し、最先端の勾配ベースのベースラインを上回る性能を発揮した。
• Zacharyのカレッジ・クラブネットワーク上での階層的公共財ゲームでは、学習率0.1と[0,1]への戦略プロジェクションを適用したDBIが、複数の離散化レベルを用いたBRDを上回る安定収束を達成した。
• 10人のエージェントを含む階層的セキュリティ投資ゲームでは、低適合性（κ=0.1）および高自己利益志向（κ=0.5）の両設定において、DBIが戦略境界[0,1]を満たしながら安定に収束した。
• 理論的解析により、DBIは十分条件を満たす場合に安定点に収束することが確認され、2プレーヤーのゼロサムスターケルベルクゲームでは局所的スターケルベルク均衡に収束することが示された。