[論文レビュー] $α^α$-Rank: Practically Scaling $α$-Rank through Stochastic Optimisation

Yaodong Yang, Rasul Tutunov+2 more|arXiv (Cornell University)|Sep 25, 2019

Reinforcement Learning in Robotics参考文献 40被引用数 5

ひとこと要約

本稿では、二重オракル機構を活用して、多エージェント方策評価における指数的メモリおよび計算ボトルネックを克服する、確率的最適化に基づく方法である$\alpha^{\alpha}$-Rankを提案する。これにより、$\mathcal{O}(2^{25})$（3300万プロファイル）に達する連合戦略空間の実用的評価が可能となり、$10^4 \times 10^4$行列において1000倍の高速化を達成した。自動運転車やイジング模型といった複雑なシステムのモデリングにも成功した。

ABSTRACT

Recently, $α$-Rank, a graph-based algorithm, has been proposed as a solution to ranking joint policy profiles in large scale multi-agent systems. $α$-Rank claimed tractability through a polynomial time implementation with respect to the total number of pure strategy profiles. Here, we note that inputs to the algorithm were not clearly specified in the original presentation; as such, we deem complexity claims as not grounded, and conjecture solving $α$-Rank is NP-hard. The authors of $α$-Rank suggested that the input to $α$-Rank can be an exponentially-sized payoff matrix; a claim promised to be clarified in subsequent manuscripts. Even though $α$-Rank exhibits a polynomial-time solution with respect to such an input, we further reflect additional critical problems. We demonstrate that due to the need of constructing an exponentially large Markov chain, $α$-Rank is infeasible beyond a small finite number of agents. We ground these claims by adopting amount of dollars spent as a non-refutable evaluation metric. Realising such scalability issue, we present a stochastic implementation of $α$-Rank with a double oracle mechanism allowing for reductions in joint strategy spaces. Our method, $α^α$-Rank, does not need to save exponentially-large transition matrix, and can terminate early under required precision. Although theoretically our method exhibits similar worst-case complexity guarantees compared to $α$-Rank, it allows us, for the first time, to practically conduct large-scale multi-agent evaluations. On $10^4 imes 10^4$ random matrices, we achieve $1000x$ speed reduction. Furthermore, we also show successful results on large joint strategy profiles with a maximum size in the order of $\mathcal{O}(2^{25})$ ($\approx 33$ million joint strategies) -- a setting not evaluable using $α$-Rank with reasonable computational budget.

研究の動機と目的

• 指数的メモリおよび計算コストによって引き起こされる、$\alpha$-Rankのスケーラビリティ制限を特定・解決すること。
• 入力に指数的サイズの報酬行列が含まれる場合、$\alpha$-Rankが提示する計算可能性の主張が妥当でないことを示し、小規模なエージェント数を超えるとアルゴリズムが非現実的になることの証明。
• 確率的最適化と二重オーガナイザー還元を用いて、大規模な多エージェント方策評価を可能にする、実用的でメモリ効率の良い代替手法の開発。
• 実世界のベンチマーク（自動運転やイジング模型など）における新手法の実証的検証。戦略空間は3300万プロファイルを超える。

提案手法

• 完全な遷移行列$\bm{T} \in \mathbb{R}^{k^N \times k^N}$の明示的構築を避ける確率的ソルバーとして$\alpha^{\alpha}$-Rankを提案。代わりに、オンザフライで遷移をサンプリングする。
• 連合戦略空間を段階的に精錬する二重オーガナイザー機構を採用。これにより、マルコフ連鎖のサイズが小さくなり、全プロファイルの全列挙を回避できる。
• 確率的パワー法反復を用いて、完全な遷移行列を保存せずに定常分布$\bm{\nu}$を近似。これにより、メモリ使用量が顕著に削減される。
• オーガナイザー枠組み内で勾配更新を用いる$\alpha^{\alpha}$-Oracleという変種を導入。これにより、最上位戦略プロファイルへの収束が加速される。
• 計算可能性とスケーラビリティに関する主張を実証的に裏付ける「費やされたドル数」という、反証不能な評価指標を導入。
• 完全な$\alpha$-Rankがメモリ制約により非現実的となる、高速道路自動運転やイジング模型といった大規模ドメインに本手法を適用。

実験結果

リサーチクエスチョン

• RQ1 $\alpha$-Rankは大規模な多エージェントシステムにおいて真に計算可能なのか。それとも、現実的な入力表現を考慮すると、指数的複雑性に陥るのか。
• RQ2 $\alpha$-Rankにおける指数的サイズのマルコフ連鎖の構築を、解の品質を損なわずに実際には回避できるか。
• RQ3 確率的かつオーガナイザーに基づくアプローチは、$\mathcal{O}(2^{25})$の連合戦略空間を持つ多エージェントシステムにおいて、スケーラブルかつメモリ効率の良い方策評価を可能にするか。
• RQ4 $\alpha^{\alpha}$-Rankは、大規模ベンチマークにおいて$\alpha$-Rankと比較して、計算コストおよび収束速度の点で優れているか。
• RQ5 $\alpha^{\alpha}$-Oracleは、MCMCによって既知の真値が得られる複雑な統計力学的設定（例：イジング模型）において、システム均衡を正確に同定できるか。

主な発見

• $10^4 \times 10^4$のランダム行列において、$\alpha^{\alpha}$-Rankはパワー法を用いた$\alpha$-Rankと比較して、反復回数を1000倍削減した。
• 本手法は、$\mathcal{O}(2^{25}) \approx 3300万プロファイル$に達する連合戦略空間の評価に成功。これは、標準的な$\alpha$-Rankがメモリ制約により非現実的となる領域である。
• 5エージェント、各エージェントが5戦略を持つ自動運転シミュレーションでは、$\alpha^{\alpha}$-Rankおよび$\alpha^{\alpha}$-Oracleともに、すべての合理的なドライバーの最適プロファイルを正しく同定した。$\alpha^{\alpha}$-Oracleはオーガナイザーによる探索を活用し、より速く収束した。
• イジング模型において、$\alpha^{\alpha}$-Oracleは$\tau = 1$で相転移を正確に検出。MCMCの結果と一致し、複雑な統計力学的設定におけるシステム均衡の同定能力を確認した。
• 著者らは、入力が指数的サイズの報酬行列である場合、$\alpha$-Rankの複雑性に関する主張が根拠のないものであることを実証的に検証した。また、メモリおよび計算ボトルネックのため、小規模な問題を超えるとアルゴリズムは非現実的であることが判明した。
• 「費やされたドル数」を用いた指標により、$\alpha$-Rankの計算コストはスケーリングに伴い非現実的になる一方、$\alpha^{\alpha}$-Rankは実用的であることが確認された。