[論文レビュー] A New Softmax Operator for Reinforcement Learning.

Kavosh Asadi, Michael L. Littman|arXiv (Cornell University)|Dec 16, 2016

Reinforcement Learning in Robotics参考文献 20被引用数 7

ひとこと要約

本論文は強化学習における非拡大性と微分可能性を保証する新しいソフトマックス演算子を提案する。標準のボルツマンソフトマックスの不安定さと最適でない挙動を是正する。新しい演算子により安定した学習と勾配ベース最適化が可能となり、実験的結果では従来手法より収束性と性能が向上していることが示された。

ABSTRACT

A softmax operator applied to a set of values acts somewhat like the maximization function and somewhat like an average. In sequential decision making, softmax is often used in settings where it is necessary to maximize utility but also to hedge against problems that arise from putting all of one's weight behind a single maximum utility decision. The Boltzmann softmax operator is the most commonly used softmax operator in this setting, but we show that this operator is prone to misbehavior. In this work, we study an alternative softmax operator that, among other properties, is both a non-expansion (ensuring convergent behavior in learning and planning) and differentiable (making it possible to improve decisions via gradient descent methods). We provide proofs of these properties and present empirical comparisons between various softmax operators.

研究の動機と目的

• 強化学習における標準ボルツマンソフトマックスの不安定さと収束しない挙動を是正すること。
• 安定した学習と勾配ベース最適化を可能にする非拡大かつ微分可能なソフトマックス演算子を設計すること。
• 新しい演算子の収束性と性能に関する理論的保証を提供すること。
• 順序付き意思決定タスクにおける既存のソフトマックス変種と比較して、新しい演算子の実験的評価を行うこと。

提案手法

• L∞ノルム下での非拡大性を保証するように変更された形に置き換えたボルツマン分布を用いた新しいソフトマックス演算子を提案する。
• 温度調整付き変換を用いて演算子を形式化し、単調性と滑らかさを維持する。
• 新しい演算子が非拡大であることを証明し、価値反復および方策学習における収束を保証する。
• 演算子が微分可能であることを示し、エンドツーエンドの勾配ベース方策最適化を可能にする。
• 標準的な強化学習ベンチマークにおいて、ボルツマンおよび他のソフトマックス変種と比較して演算子を実装・評価する。
• 理論的分析と実験的比較を用いて安定性と性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 提案されたソフトマックス演算子は価値反復および方策反復において非拡大性を満たすか？
• RQ2 新しい演算子は勾配ベース学習を可能にするように微分可能にできるか？
• RQ3 収束速度と安定性の観点で、新しい演算子はボルツマンソフトマックスと比べてどのように異なるか？
• RQ4 十分な探索を維持しつつ、効用最大化を保つことができるか？
• RQ5 標準的な強化学習環境における実験的性能向上は何か？

主な発見

• 提案されたソフトマックス演算子は、証明可能な非拡大性を有し、価値反復および方策学習における安定な収束を保証する。
• 演算子は微分可能であり、方策の効果的な勾配ベース最適化を可能にする。
• 実験的結果では、テスト環境においてボルツマンソフトマックスと比較して収束が速く、安定性が向上していることが示された。
• 収束保証を損なわず、活用と探索のバランスを維持する。
• 理論的分析により、演算子が価値推定の差を拡大しないことが確認され、発散を防ぐ。
• ベンチマークタスクにおいて、学習の安定性と最終的な方策性能の両面でボルツマンソフトマックスを上回る。