[論文レビュー] A Block Coordinate Ascent Algorithm for Mean-Variance Optimization

Bo Liu, Tengyang Xie+5 more|arXiv (Cornell University)|Sep 7, 2018

Stochastic Gradient Optimization Techniques被引用数 25

ひとこと要約

本稿は、リーマン・フェンヒェル双対性を活用して、強化学習における平均・分散最適化のための新しいブロック座標上昇アルゴリズムを提案する。この手法は、効率的な確率的方策探索を可能にし、有限標本の誤差バウンドと収束速度を確立する。従来の漸近的で調整が難しい手法に比べ、より強い理論的保証を提供する。

ABSTRACT

Risk management in dynamic decision problems is a primary concern in many fields, including financial investment, autonomous driving, and healthcare. The mean-variance function is one of the most widely used objective functions in risk management due to its simplicity and interpretability. Existing algorithms for mean-variance optimization are based on multi-time-scale stochastic approximation, whose learning rate schedules are often hard to tune, and have only asymptotic convergence proof. In this paper, we develop a model-free policy search framework for mean-variance optimization with finite-sample error bound analysis (to local optima). Our starting point is a reformulation of the original mean-variance function with its Fenchel dual, from which we propose a stochastic block coordinate ascent policy search algorithm. Both the asymptotic convergence guarantee of the last iteration's solution and the convergence rate of the randomly picked solution are provided, and their applicability is demonstrated on several benchmark domains.

研究の動機と目的

• 既存の平均・分散強化学習アルゴリズムの限界、すなわち、調整が難しい多時間スケールの確率的近似に依存し、収束が漸近的であるという点を是正すること。
• 厳密な有限標本の複雑さ解析を備えた、計算効率的でモデルフリーな方策探索フレームワークを、平均・分散最適化のために開発すること。
• 提案アルゴリズムに対して、漸近的収束と有限標本の誤差バウンドの両方を提供し、実世界の意思決定における実用的適用を保証すること。
• リーマン・フェンヒェル双対性を用いて平均・分散目的関数を再定式化し、より安定的かつ効率的な最適化プロセスを可能にすること。
• ポートフォリオ管理、アメリカン型オプション、最適停止といったベンチマークドメインにおいて、アルゴリズムの有効性を実証すること。

提案手法

• リーマン・フェンヒェル双対性を用いて平均・分散目的関数を再定式化し、ブロック座標降下に適した新たな最適化定式化を導出する。
• サンプル軌道を用いて、方策パラメータと双対変数を交互に更新する確率的サイクル的ブロック座標降下（SBCD）アルゴリズムを提案する。
• アルゴリズムの確率的バージョン（RCPG）と完全更新バージョン（SGA）を採用し、両者ともロビンズ・モンロ条件を満たすステップサイズルールまたは定数ステップサイズを用いる。
• 実現収益 $ R_t $ と方策勾配 $ \omega_t(\theta_t) $ を用いて、$ \theta $ と $ y $ の両方の更新を計算し、$ y $ を分散制御のための双対変数として機能させる。
• 勾配の期待ノルムを用いた収束解析を行い、適切なステップサイズ設定下で $ \mathcal{O}(1/\sqrt{N}) $ の収束速度を導出する。
• 最後の反復およびランダムに選ばれた反復に対して、有限標本の誤差バウンドを適用し、非漸近的保証を提供する。

実験結果

リサーチクエスチョン

• RQ1 モデルフリーな方策探索アルゴリズムが、従来の手法の漸近的性質を克服し、有限標本の収束保証を達成できるか？
• RQ2 リーマン・フェンヒェル双対性の使用が、平均・分散目的関数のより安定的かつ効率的な最適化フレームワークを可能にするか？
• RQ3 確率的ブロック座標上昇法が、収束速度および計算効率の面で、従来の多時間スケールの確率的近似アルゴリズムを上回れるか？
• RQ4 提案アルゴリズムの有限標本誤差バウンドは何か？また、ランダム更新とサイクル更新戦略の間でどのように比較されるか？
• RQ5 ステップサイズスケジュール（ロビンズ・モンロ対定数）が収束行動および最終的性能に与える影響は何か？

主な発見

• 提案アルゴリズムは、有限標本収束率 $ \mathcal{O}(1/\sqrt{N}) $ を達成し、勾配ノルムの期待値が $ \mathbb{E}[\|\nabla f(x_z)\|_2^2] \leq \frac{f(x_1) - f^* + N(\beta^{\max})^2 C}{N(\beta^{\min} - \frac{L}{2}(\beta^{\max})^2)} $ で有界であることを示した。
• アルゴリズムの最後の反復は、標準的なロビンズ・モンロステップサイズ条件のもとで、局所最適解に漸近的に収束することが保証される。
• 列挙された反復 $ x_z $ が、$ \beta^{\min} = \beta^{\max} = \mathcal{O}(1/\sqrt{N}) $ の条件下で、同じ $ \mathcal{O}(1/\sqrt{N}) $ の収束速度を達成する。
• ポートフォリオ管理、アメリカン型オプション、最適停止といったベンチマークドメインにおいて、既存手法を上回る性能を示し、より速い収束と高い安定性を確認した。
• 有限標本誤差バウンドは、更新ダイナミクスの非線形性を考慮する新しい解析フレームワークを用いて導出された。これは、Dalalら（2018）の手法に見られる限界を克服した。
• 理論的解析により、非線形性を考慮したサイクル的ブロック更新戦略が、ランダム更新よりも優れた実験的性能を示すことが確認された。これは、先行研究において有限標本解析が欠落していたにもかかわらずである。