[論文レビュー] Universal Convexification via Risk-Aversion

Krishnamurthy Dvijotham, Maryam Fazel+1 more|arXiv (Cornell University)|Jun 3, 2014

Reinforcement Learning in Robotics参考文献 13被引用数 3

ひとこと要約

本稿では、リスク回避的ガウスノイズ平滑化を用いて非凸最適化問題を凸化する普遍的なフレームワークを提案する。これにより収束保証とサブオプティマルリティの上限が得られ、制御問題に対してグローバル収束を示す新しいモデルベースおよびモデルフリーポリシー勾配アルゴリズムが導出される。数値実験により検証されている。

ABSTRACT

We develop a framework for convexifying a fairly general class of optimization problems. Under additional assumptions, we analyze the suboptimality of the solution to the convexified problem relative to the original nonconvex problem and prove additive approximation guarantees. We then develop algorithms based on stochastic gradient methods to solve the resulting optimization problems and show bounds on convergence rates. %We show a simple application of this framework to supervised learning, where one can perform integration explicitly and can use standard (non-stochastic) optimization algorithms with better convergence guarantees. We then extend this framework to apply to a general class of discrete-time dynamical systems. In this context, our convexification approach falls under the well-studied paradigm of risk-sensitive Markov Decision Processes. We derive the first known model-based and model-free policy gradient optimization algorithms with guaranteed convergence to the optimal solution. Finally, we present numerical results validating our formulation in different applications.

研究の動機と目的

• リスク回避的平滑化を用いて非凸最適化問題を普遍的に凸化するフレームワークの構築を目的とする。
• 特定の仮定の下で、凸化された問題と元の非凸問題との間の加法的サブオプティマルリティバウンドを確立することを目的とする。
• 凸化された問題を解くために収束速度バウンドを備えた確率的勾配アルゴリズムの設計を目的とする。
• 離散時間動的システムへこのフレームワークを拡張し、グローバルに収束するポリシー最適化を可能とすることを目的とする。
• リスクセンシティブ制御設定において、グローバル最適解への保証付き収束を示す、最初に知られるモデルベースおよびモデルフリーのポリシー勾配アルゴリズムを提示することを目的とする。

提案手法

• 目的関数を $ g(\theta) = f(\theta) + \frac{1}{2}\theta^T R\theta $ と分解し、$ f $ をガウスノイズで摂動する。
• リスク回避的平滑化作用素を定義する：$ f_\alpha(\theta) = \frac{1}{\alpha} \log \mathbb{E}_{\omega \sim \mathcal{N}(0,\Sigma)}[\exp(\alpha f(\theta + \omega))] $。これは十分に大きな $ \alpha $ に対して問題を凸化する。
• 凸化された問題は $ \min_{\theta \in \mathcal{C}} f_\alpha(\theta) + \frac{1}{2}\theta^T R\theta $ であり、$ R \succeq 0 $ であるため、弱い条件下でも凸性が保証される。
• 反復回数の観点から収束レートがバウンドされるように、確率的勾配法を凸化問題に適応する。
• 動的システムの場合、フレームワークはリスクセンシティブなマルコフ意思決定過程に埋め込まれ、パス積分制御と結びつける。これによりポリシー勾配最適化が可能になる。
• KLダイバージェンスとモーメントバウンドを用いて理論的保証を導出し、勾配ノルムとサブオプティマルリティのバウンドに至る。

実験結果

リサーチクエスチョン

• RQ1 リスク回避的平滑化を用いて、一般クラスの非凸最適化問題を凸化可能であり、意味のあるサブオプティマルリティ保証を維持できるか？
• RQ2 リスクパラメータ $ \alpha $、ノイズ共分散 $ \Sigma $、関数の正則性にどのような条件が課されると、平滑化された問題が凸化されるか？
• RQ3 収束レートとサブオプティマルリティバウンドが保証されるように、確率的勾配法を凸化問題に適応可能か？
• RQ4 このフレームワークを離散時間動的システムへ拡張し、グローバルに収束するポリシー最適化を可能にできるか？
• RQ5 このリスク回避的凸化と既存のパス積分制御手法との理論的関係は何か？

主な発見

• 提案された確率的勾配アルゴリズムに対して、凸化問題はグローバル収束保証を達成し、サブオプティマルリティはノイズおよびリスクパラメータに依存する加法的定数でバウンドされる。
• 一般最適化問題において、勾配とヘッセ行列の有界性仮定の下で、サブオプティマルリティバウンドが $ \mathcal{O}(\alpha^{-1}) $ となる。
• 制御設定において、本フレームワークは、グローバル最適解への保証付き収束を示す最初に知られるモデルベースおよびモデルフリーのポリシー勾配アルゴリズムをもたらす。
• 理論的分析により、平滑化された問題における勾配の期待ノルムが $ \delta^2 $ でバウンドされることが示され、ここで $ \delta = \sqrt{\frac{\beta\gamma^2}{\sigma^2(1 - \alpha\beta)}} + \kappa R(\mathcal{C}) $ である。これにより安定性が保証される。
• 数値結果により、非凸制御および学習タスクにおいて、フレームワークのロバストネスと収束性が検証された。
• 反復回数に応じて有利にスケーリングされる収束レートが達成され、モーメントおよびKLダイバージェンス解析を用いて最適解からの距離のバウンドが導出された。