[論文レビュー] Smooth markets: A basic mechanism for organizing gradient-based learners

David Balduzzi, Wojciech Marian Czarnecki+6 more|arXiv (Cornell University)|Jan 14, 2020

Advanced Bandit Algorithms Research参考文献 43被引用数 7

ひとこと要約

この論文は、ペアワイズゼロサム相互作用を有するn人プレイヤーのゲームであるスムーズマーケット（SM-game）を導入し、敵対的訓練やGANを一般化する。個々の目的関数と対称的・ゼロサムな相互作用を用いてプレイヤーの利益を構造化することで、SM-gameは安定的で有界かつ収束する勾配ダイナミクスを保証し、マルチエージェント学習システムにおける集団的行動の解析と制御を可能にする。

ABSTRACT

With the success of modern machine learning, it is becoming increasingly important to understand and control how learning algorithms interact. Unfortunately, negative results from game theory show there is little hope of understanding or controlling general n-player games. We therefore introduce smooth markets (SM-games), a class of n-player games with pairwise zero sum interactions. SM-games codify a common design pattern in machine learning that includes (some) GANs, adversarial training, and other recent algorithms. We show that SM-games are amenable to analysis and optimization using first-order methods.

研究の動機と目的

• 一般に不満定なn人ゲームの枠組みにおいて、標準的なゲーム理論的手法が不適切となるマルチエージェントシステムにおける集団的行動の制御という課題に取り組む。
• 勾配ベースのマルチエージェントシステムを解析・制御可能にする組織的原則を同定する。
• 敵対的訓練やGANに類似したアーキテクチャを、安定性の保証された形式的ゲーム理論的枠組みに一般化する。
• 「可読性（legibility）」という概念を導入し、個々のエージェントの予測から集団的ダイナミクスを局所的からグローバルに予測する原則を提供する。
• SM-gameにおける勾配上昇がナッシュ均衡に収束し、有界性を保つ条件を確立する。

提案手法

• SM-gameを定義する。これは各エージェントの利益が個人的目標と他のエージェントとのペアワイズゼロサム相互作用から成るn人ゲームである。
• 個々の学習率を用いた同時勾配上昇法を用いてエージェントのダイナミクスをモデル化し、感情（予測の変化）を主要な動的変数として追跡する。
• 集約予測関数 $ \mathfrak{f}_{\boldsymbol{\eta}}(\mathbf{w}) = \sum_i \eta_i \cdot \frac{d\mathfrak{f}}{dt}(\mathbf{w}) $ を導入し、個々の予測を統合してグローバルな地形を定義する。
• リャプノフ型関数を用いて、利潤関数が凹型でリターン逓減の仮定のもとで、ダイナミクスの安定性と有界性を証明する。
• ダイナミクスを、集約予測によって定義される地形を移動するものとして可視化し、方向は感情（勾配との内積が正または負）によって決定される。
• 「可読性」の概念を応用し、個々のエージェント行動と集団的ダイナミクスを結びつけ、局所的性質からグローバルな結論を導く。

実験結果

リサーチクエスチョン

• RQ1 勾配ベースの学習が安定的で収束的かつ有界なダイナミクスを示すようなマルチエージェントゲームのクラスを特定できるか？
• RQ2 一般のn人ゲームでは不満定であるにもかかわらず、マルチエージェントシステムにおけるペアワイズゼロサム相互作用が、予測可能な集団的行動をもたらす仕組みは何か？
• RQ3 個々のエージェントの予測の集約が、マルチエージェントシステムのグローバルダイナミクスに与える影響は何か？
• RQ4 SM-gameにおける勾配上昇がどのような条件下でナッシュ均衡に収束するか？
• RQ5 「可読性」をどのように形式化すれば、局所的エージェント特性からグローバルシステム行動を予測できるか？

主な発見

• SM-gameにおけるナッシュ均衡は、同時に勾配上昇において安定であり、均衡点への収束を保証する。
• すべての個々の利潤関数が強く凹型であれば、正の学習率のすべてに対して勾配上昇はナッシュ均衡に収束する。
• 十分な生産ベクトルに対して否定的である感情の仮定のもと、SM-gameのダイナミクスは有界である。発散を防ぐ。
• 集約予測関数 $ \mathfrak{f}_{\boldsymbol{\eta}} $ を用いることで、システムダイナミクスの視覚的かつ分析的地形解釈が可能となり、移動方向は感情重み付き勾配に依存する。
• SM-gameは、ゼロサム取引という会計メカニズムを埋め込むことで、敵対的訓練やGANを形式的ゲーム理論的枠組みに一般化し、安定性と予測可能性を保証する。
• 可読性（個々の予測の加法的集約）により、局所的エージェント特性からシステム行動に関する定性的なグローバルな結論を導ける。