[論文レビュー] Regret Circuits: Composability of Regret Minimizers

Gabriele Farina, Christian Kroer+1 more|arXiv (Cornell University)|Nov 6, 2018

Metaheuristic Optimization Algorithms Research参考文献 32被引用数 4

ひとこと要約

本稿では、交差、凸包、カルテシアン積などの凸性を保つ演算を用いて、合成凸集合上のレギュレートミニマイザーを合成するための微積分を導入する。局所的レギュレートミニマイザーをブラックボックスとして扱い、'レギュレート回路'フレームワークを介して統合することで、グローバルに有効なレギュレートミニマイザーの構築が可能になる。これは、ゲーム理論やオンライン学習における複雑な最適化問題を解くための体系的でモジュラーなアプローチを提供し、戦略制約を伴うCFRの一般化を含む。

ABSTRACT

Regret minimization is a powerful tool for solving large-scale problems; it was recently used in breakthrough results for large-scale extensive-form game solving. This was achieved by composing simplex regret minimizers into an overall regret-minimization framework for extensive-form game strategy spaces. In this paper we study the general composability of regret minimizers. We derive a calculus for constructing regret minimizers for composite convex sets that are obtained from convexity-preserving operations on simpler convex sets. We show that local regret minimizers for the simpler sets can be combined with additional regret minimizers into an aggregate regret minimizer for the composite set. As one application, we show that the CFR framework can be constructed easily from our framework. We also show ways to include curtailing (constraining) operations into our framework. For one, they enables the construction of CFR generalization for extensive-form games with general convex strategy constraints that can cut across decision points.

研究の動機と目的

• 合成凸集合（凸性を保つ操作によって形成される）におけるレギュレートミニマイザーの合成のための一般枠組みを構築すること。
• 局所的レギュレートミニマイザーをブラックボックスとして扱い、柔軟なアルゴリズム選択を許容することで、モジュラーなレギュレートミニマイザーの構築を可能にすること。
• 広範な形式ゲームにおける複数の情報集合にまたがる戦略制約をレギュレートミニマイズーション枠組みに統合するための体系的メソッドを提供すること。
• CFR や制約付きCFRといった既存のレギュレートミニマイズーション枠組みを、単一の合成的微積分に統一・一般化すること。
• ラグランジュ緩和と射影ベース手法を用いて、制約付き最適化における近似解と正確解の両方をサポートすること。

提案手法

• 凸性を保つ操作（例：交差、凸包、カルテシアン積）に基づくレギュレートミニマイズーションの微積分を用い、単純なレギュレートミニマイザーから合成集合のレギュレートミニマイザーを構築する。
• 局所的レギュレートミニマイザーをアグリゲーション操作で接続する「レギュレート回路」—概念的かつ形式的な表現を導入し、グローバルなレギュレートミニマイザーを構成する。
• 凸制約を処理するため、ラグランジュ緩和と射影ベース手法の両方をサポートし、実行可能性と計算コストのトレードオフを可能にする。
• 戦略空間の異なる部分に異なるレギュレートミニマイズーションアルゴリズム（例：RM+、Hedge）を用いることが可能となり、実用的性能と理論的柔軟性が向上する。
• オンライン凸最適化（OCO）設定においてフレームワークを形式化し、合成的推論を通じて収束保証を導出する。
• CFRアルゴリズムが特殊ケースとして一般化されることを示し、単体レギュレートミニマイザーを適切な操作で合成することで、CFRが直接この微積分から導出可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 交差や凸包、カルテシアン積といった凸性を保つ操作によって形成される合成凸集合に対して、どのようにしてレギュレートミニマイザーを体系的に合成できるか？
• RQ2 カウンターファクチュアルレギュレートミニマイズーション（CFR）フレームワークを、形式的微積分を用いてより単純なレギュレートミニマイザーの合成として導出できるか？
• RQ3 広範な形式ゲームにおける複数の情報集合にまたがる戦略制約を、レギュレートミニマイズーション枠組みにどのように統合できるか？
• RQ4 レギュレートミニマイズーションにおける制約の強制に際して、ラグランジュ緩和と射影ベース手法の間にはどのようなトレードオフがあるか？
• RQ5 本フレームワークを用いて、複数の情報集合にまたがる制約を必要とする均衡の精錬問題のための新たなレギュレートミニマイザーを構築できるか？

主な発見

• レギュレート微積分により、凸性を保つ操作によって形成される任意の合成凸集合に対して、局所的レギュレートミニマイザーをブラックボックスとして用いて、レギュレートミニマイザーを構築可能である。
• CFRアルゴリズムは、単体レギュレートミニマイザーを適切なアグリゲーション操作で合成することで、この微積分から直接導出可能である。
• 本フレームワークは、ラグランジュ緩和と射影ベース手法の両方をサポートし、後者はすべての反復ステップの正確な実行可能性を保証する。
• ラグランジュ緩和のバージョンは、制約付きCFR（CCFR）アルゴリズムを一般化し、乗数用に任意のレギュレートミニマイザーを柔軟にインスタンス化可能である。
• 射影ベース手法は、すべての戦略反復ステップが実行可能であることを保証し、CCFRにおける近似実行可能性と比較して顕著な利点を提供する。
• 本フレームワークにより、行列逆行列計算のような重い演算を回避しながら、複数の情報集合にまたがる制約を伴う準完全均衡の計算に対する、レギュレート最小化に基づく初めてのアプローチが可能になった。