[論文レビュー] On the Properties of the Softmax Function with Application in Game Theory and Reinforcement Learning

Bolin Gao, Lacra Pavel|arXiv (Cornell University)|Apr 3, 2017

Mathematical and Theoretical Epidemiology and Ecology Models参考文献 38被引用数 212

ひとこと要約

本論文は ソフトマックス が log-sum-exp 関数の勾配であることを示し、逆温度によって制御されるリプシッツ性と共コ coercivity（co-coercivity）性質を導出し、状態を持たないゲーム理論的強化学習スキームへの適用を実証する。

ABSTRACT

In this paper, we utilize results from convex analysis and monotone operator theory to derive additional properties of the softmax function that have not yet been covered in the existing literature. In particular, we show that the softmax function is the monotone gradient map of the log-sum-exp function. By exploiting this connection, we show that the inverse temperature parameter determines the Lipschitz and co-coercivity properties of the softmax function. We then demonstrate the usefulness of these properties through an application in game-theoretic reinforcement learning.

研究の動機と目的

• 凸分析と単調性演算子理論を用いて、ソフトマックス関数の数学的理解を拡張する。
• ソフトマックスが log-sum-exp ポテンシャルの勾配であることを確立し、逆温度 λ がその性質にどう影響するかを研究する。
• これらの性質が、単純なゲーム理論的強化学習設定における収束性の側面を保証することを示す。

提案手法

• ソフトマックスが log-sum-exp 関数の勾配であることを示す（命題 1）。
• log-sum-exp のヘシアン/ヤコビ行列を計算してソフトマックスのヤコビ行列を得る（命題 2）。
• ソフトマックスのリプシッツ連続性を定数 L = lambda で確立する（命題 4）。
• Baillon–Haddad 定理を用いて 1/L-co-coercivity の導出（Corollary 2）。
• ソフトマックスの単調性と最大単調性を議論する（命題 3 および Corollary 1）。
• これらの性質を、単一プレイヤーゲームにおける状態なしの連続時間強化学習スキーム（EXP-D-RL）に適用して、収束の洞察を示す（セクション VI）。

実験結果

リサーチクエスチョン

• RQ1 凸分析と単調性演算子理論から、ソフトマックス関数にどのような追加的な性質が導出できるか？
• RQ2 逆温度 λ がソフトマックスのリプシッツ性および共コーシブ性性にどのように影響するか？
• RQ3 導出された性質がゲーム理論的強化学習における学習ダイナミクスの収束を保証できるか？
• RQ4 この文脈でソフトマックスは log-sum-exp ポテンシャルと負エントロピーとの双対性とどのように関連しているか？
• RQ5 レプリケーター型ダイナミクスおよび進化的ゲーム理論との関連におけるソフトマックスの役割は何か？

主な発見

• ソフトマックスは log-sum-exp 関数の勾配である（softmax = log-sum-exp の勾配）。
• ソフトマックスのヤコビは lambda 倍の (diag(σ(z)) − σ(z)σ(z)^T)。
• ソフトマックスはノルムのユークリッド距離に関して lambda-リプシッツ性および 1/λ-コーコアシブ性（co-coercive）を持つ。
• Baillon–Haddad 定理は、log-sum-exp のリプシッツ勾配を介してソフトマックスの 1/λ-co-coercivity を示唆する。
• ソフトマックスは単調で最大単調性を持つ（厳密には単調ではない）R^n 上で。
• これらの性質は、状態なしの連続時間強化学習スキーム（EXP-D-RL）の収束を分析するのに用いられる。