[論文レビュー] Log Barriers for Safe Black-box Optimization with Application to Safe Reinforcement Learning

Ilnura Usmanova, Yarden As+2 more|arXiv (Cornell University)|Jul 21, 2022

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

本稿では、制約を満たすことを保証するための対数バリア近似を用いた確率的勾配降下法（LB-SGD）を提案する。この手法は、学習中に制約を満たすように保証するが、適応的ステップサイズを用いる。高次元の非凸問題において、ゼロ次および一次のフィードバックを用いて効率的な収束を達成し、従来の安全なベイズ最適化手法と比較して、より優れたサンプルおよび計算複雑度を実現する。

ABSTRACT

Optimizing noisy functions online, when evaluating the objective requires experiments on a deployed system, is a crucial task arising in manufacturing, robotics and many others. Often, constraints on safe inputs are unknown ahead of time, and we only obtain noisy information, indicating how close we are to violating the constraints. Yet, safety must be guaranteed at all times, not only for the final output of the algorithm. We introduce a general approach for seeking a stationary point in high dimensional non-linear stochastic optimization problems in which maintaining safety during learning is crucial. Our approach called LB-SGD is based on applying stochastic gradient descent (SGD) with a carefully chosen adaptive step size to a logarithmic barrier approximation of the original problem. We provide a complete convergence analysis of non-convex, convex, and strongly-convex smooth constrained problems, with first-order and zeroth-order feedback. Our approach yields efficient updates and scales better with dimensionality compared to existing approaches. We empirically compare the sample complexity and the computational cost of our method with existing safe learning approaches. Beyond synthetic benchmarks, we demonstrate the effectiveness of our approach on minimizing constraint violation in policy search tasks in safe reinforcement learning (RL).

研究の動機と目的

• 制約が未知であり、ノイズのある測定値しか得られない高次元の確率的問題に対して、スケーラブルで安全な最適化手法を開発すること。
• 最適化の各反復が常に実行可能領域内に保たれることを保証し、安全でないシステムの相互作用を防止すること。
• 高次元設定において、従来の安全なベイズ最適化手法よりも優れたサンプルおよび計算複雑度を達成すること。
• 安全な学習におけるゼロ次および一次のフィードバックを統合するフレームワークを提供すること。
• 安全な強化学習および実世界のポリシー探索タスクにおける有効性を実証すること。

提案手法

• LB-SGDは、最適化問題の制約を対数バリア近似で表現し、最適化中に実行可能性を保証する。
• この手法は、対数バリア目的関数を最小化するために、適応的ステップサイズルールを用いた確率的勾配降下法を適用する。
• ゼロ次フィードバックの場合、ランダムな方向とノイズを用いた有限差分に基づくゼロ次勾配推定器を採用する。
• 一次フィードバックの場合、直接的にノイズのある勾配測定値をSGD更新に使用する。
• アルゴリズムは、バリア関数の構造のおかげで、反復が実行可能領域内に保たれることで安全を保証する。
• 滑らかさおよびリプシッツ連続性の仮定の下で、非凸、凸、強い凸問題の収束を解析する。

実験結果

リサーチクエスチョン

• RQ1 制約に関する事前知識がなく、学習プロセス中に常に実行可能であることを保証できる安全な最適化手法を設計できるか？
• RQ2 高次元設定において、LB-SGDのサンプルおよび計算複雑度は、安全なベイズ最適化と比較してどの程度か？
• RQ3 ノイズのある関数評価のみで、非凸問題においてもLB-SGDは停留点に収束できるか？
• RQ4 適応的ステップサイズ選択は、ブラックボックス最適化における収束および制約違反にどのような影響を与えるか？
• RQ5 既存の安全な最適化ベースラインと比較して、LB-SGDは安全な強化学習のポリシー探索においてどの程度の性能を示すか？

主な発見

• 滑らかさおよびリプシッツ連続性の条件下で、非凸問題においてLB-SGDは高い確率で停留点に収束する。
• 特に高次元において、安全なベイズ最適化と比較して、サンプル複雑度のスケーリングが改善されている。
• データポイントの数および次元数に応じて計算コストが効率的にスケーリングされ、ガウス過程手法の立方体スケーリングを回避する。
• 実験的結果では、安全な強化学習のポリシー探索タスクにおいて、ベースライン手法と比較して著しく制約違反が少ないことが示された。
• 理論的解析により、対数バリア近似がすべての反復が実行可能領域内に保たれることを保証し、常に安全であることが確認された。
• 適応的ステップサイズルールは、合成および実世界のベンチマークにおいて、収束を早め、制約違反を低減する寄与を示した。