[論文レビュー] Solving Combinatorial Games using Products, Projections and Lexicographically Optimal Bases

Swati Gupta, Michel X. Goemans+1 more|arXiv (Cornell University)|Mar 1, 2016

Advanced Bandit Algorithms Research参考文献 54被引用数 3

ひとこと要約

本稿では、辞書的最適基底と一般化された数え上げオракルを用いて、2人零和組合せゲームにおける対称ナッシュ均衡を計算するための効率的アルゴリズムを提示する。多面体基底多面体へのブレグマン射影に対する新規なプライマル型アルゴリズムと、近似数え上げオラクルを用いた乗法的重み更新アルゴリズムの多項式時間シミュレーションを導入し、スパニングツリー やマッチングなど、指数的多数の戦略を持つゲームの効率的解法を可能にする。

ABSTRACT

In order to find Nash-equilibria for two-player zero-sum games where each player plays combinatorial objects like spanning trees, matchings etc, we consider two online learning algorithms: the online mirror descent (OMD) algorithm and the multiplicative weights update (MWU) algorithm. The OMD algorithm requires the computation of a certain Bregman projection, that has closed form solutions for simple convex sets like the Euclidean ball or the simplex. However, for general polyhedra one often needs to exploit the general machinery of convex optimization. We give a novel primal-style algorithm for computing Bregman projections on the base polytopes of polymatroids. Next, in the case of the MWU algorithm, although it scales logarithmically in the number of pure strategies or experts $N$ in terms of regret, the algorithm takes time polynomial in $N$; this especially becomes a problem when learning combinatorial objects. We give a general recipe to simulate the multiplicative weights update algorithm in time polynomial in their natural dimension. This is useful whenever there exists a polynomial time generalized counting oracle (even if approximate) over these objects. Finally, using the combinatorial structure of symmetric Nash-equilibria (SNE) when both players play bases of matroids, we show that these can be found with a single projection or convex minimization (without using online learning).

研究の動機と目的

• スパニングツリー やマッチングなどの、指数的多数の純粋戦略をもつ2人零和ゲームにおけるナッシュ均衡を求める計算上の課題に対処すること。
• 戦略多面体が組合せ的対象によって定義されるゲームにおいて、オンラインミラー降下と乗法的重み更新を含む、効率的なオンライン学習アルゴリズムを開発すること。
• 辞書的最適基底を活用することで、マトロイドに基づくゲームにおける対称ナッシュ均衡の多項式時間計算を可能にすること。
• 組合せ的構造と一般化された近似数え上げオラクルを活用して、学習アルゴリズムの計算複雑性を低減すること。
• 対称ナッシュ均衡とマトロイド基底多面体における辞書的最適基底との関係を確立し、正確かつ効率的な計算を可能にすること。

提案手法

• 多面体基底多面体へのブレグマン射影を計算する新規なプライマル型アルゴリズムを提案し、組合せゲームにおける効率的なオンラインミラー降下を可能にする。
• 一般化された近似数え上げオラクルが存在する場合、戦略空間の自然次元に多項式時間で乗法的重み更新（MWU）アルゴリズムをシミュレートするための一般的なフレームワークを導入する。
• シンプレクティックゲームにおける戦略多面体上のミニマックス問題を、楕円体法による最適化と分離の等価性を用いて効率的に解く。
• 単調関数理論における辞書的最適基底の概念を応用し、マトロイドゲームにおける対称ナッシュ均衡を特徴づけかつ計算する。
• Inc-fixアルゴリズムとFujishige（1980）の結果を用いて、損失行列から導かれる重みに関して、辞書的最適基底を効率的に計算する。
• マトロイドゲームにおいて損失行列が対角行列であるとき、対称ナッシュ均衡は重み $ w(e) = 1/L_{e,e} $ の下での辞書的最適基底と正確に一致することを示す。

実験結果

リサーチクエスチョン

• RQ1 一般の凸最適化に依存せずに、多面体基底多面体の基底多面体へのブレグマン射影を効率的に実装できるか？
• RQ2 純粋戦略の数が指数的である0/1多面体において、乗法的重み更新アルゴリズムを多項式時間でシミュレートできるか？
• RQ3 マトロイドに基づく組合せゲームにおいて、対称ナッシュ均衡が存在し、かつ一意となる条件は何か？
• RQ4 マトロイドゲームにおける対称ナッシュ均衡は、基底多面体の辞書的最適基底とどのように関係しているか？
• RQ5 損失行列の構造とマトロイドのランク関数を用いて、対称均衡を効率的に特徴づけかつ計算できるか？

主な発見

• 多面体基底多面体へのブレグマン射影を計算する新規なプライマル型アルゴリズムにより、組合せゲームにおける効率的なオンラインミラー降下が可能になる。
• 一般化された近似数え上げオラクルを用いることで、戦略空間の自然次元に多項式時間で乗法的重み更新アルゴリズムをシミュレートできる。
• 損失行列が対角行列であるマトロイドゲームにおける対称ナッシュ均衡は、重み $ w(e) = 1/L_{e,e} $ の下での辞書的最適基底と正確に一致し、効率的な計算が可能になる。
• 損失行列 $ L $ が正定値である限り、マトロイドゲームにおいて対称ナッシュ均衡は一意である。
• 損失行列が単位行列である場合、マトロイドゲームにおける対称ナッシュ均衡が存在するための必要十分条件は、対応するグラフの各ブロックが一様に密度が高いことである。
• 任意の正の点 $ x $ がマトロイドの基底多面体に属する場合、$ L_{e,e} = 1/x_e $ と設定することで、$ (x,x) $ が対称ナッシュ均衡となるマトロイドゲームを構築できる。