[論文レビュー] Globally Convergent Policy Search over Dynamic Filters for Output Estimation

Jack Umenberger, Max Simchowitz+3 more|arXiv (Cornell University)|Feb 23, 2022

Stochastic Gradient Optimization Techniques被引用数 5

ひとこと要約

本稿では、ノイズが混在する部分観測線形動的システムにおける出力推定のための、グローバルに最適な動的フィルタを保証的に収束する最初の直接的ポリシー探索アルゴリズムを提示する。情報性に基づく正則化項と再条件化ステップを導入することで、正則化目的関数に対する勾配降下法が、状態を持つフィルタ最適化における退化を克服し、O(1/T) のレートでグローバル収束を達成する。

ABSTRACT

We introduce the first direct policy search algorithm which provably converges to the globally optimal $ extit{dynamic}$ filter for the classical problem of predicting the outputs of a linear dynamical system, given noisy, partial observations. Despite the ubiquity of partial observability in practice, theoretical guarantees for direct policy search algorithms, one of the backbones of modern reinforcement learning, have proven difficult to achieve. This is primarily due to the degeneracies which arise when optimizing over filters that maintain internal state. In this paper, we provide a new perspective on this challenging problem based on the notion of $ extit{informativity}$, which intuitively requires that all components of a filter's internal state are representative of the true state of the underlying dynamical system. We show that informativity overcomes the aforementioned degeneracy. Specifically, we propose a $ extit{regularizer}$ which explicitly enforces informativity, and establish that gradient descent on this regularized objective - combined with a ``reconditioning step'' - converges to the globally optimal cost a $\mathcal{O}(1/T)$ rate. Our analysis relies on several new results which may be of independent interest, including a new framework for analyzing non-convex gradient descent via convex reformulation, and novel bounds on the solution to linear Lyapunov equations in terms of (our quantitative measure of) informativity.

研究の動機と目的

• 部分観測制御問題における直接的ポリシー探索に理論的保証が欠如している問題、特に状態を持つフィルタに起因する退化の原因を解消する。
• ノイズが混在する部分観測線形動的システムにおける最適な動的フィルタを学習するための、保証付き収束最適化手法を開発する。
• 内部状態を有するフィルタの最適化における課題を克服するため、情報性に基づく新しい正則化項を導入する。
• 再条件化ステップを用いた正則化目的関数に対する勾配降下法のグローバル収束を確立し、グローバルに最適なフィルタへの収束を保証する。

提案手法

• フィルタの内部状態のすべての成分が真のシステム状態を表すことを保証する情報性を強制する新しい正則化項 $\mathcal{R}_{\mathtt{info}}$ を導入する。
• 最適化の安定化とフィルタパラメータ空間における退化の防止を目的とした再条件化ステップを提案する。
• 非凸勾配降下の収束保証を可能にするために、凸再定式化フレームワークを用いる。
• 情報性測度の観点から、線形ラプラス方程式の解に対する新たな境界を導出する。
• 正則化目的関数 $\mathcal{L}_{\lambda} = \mathcal{L}_{\mathtt{OE}} + \lambda \mathcal{R}_{\mathtt{info}}$ に勾配降下法を適用し、グローバル収束を保証する。
• 提案されたアルゴリズム下で、正則化目的関数に対する $\mathcal{O}(1/T)$ の収束レートを確立する。

実験結果

リサーチクエスチョン

• RQ1 部分観測線形システムにおける出力推定のための動的フィルタに対する直接的ポリシー探索は、理論的保証のもとでグローバル収束を達成できるか？
• RQ2 フィルタの内部状態依存性に起因する退化は、最適化においてどのように克服できるか？
• RQ3 情報性（フィルタの内部状態の真のシステム状態に対する代表性）は、安定的かつグローバルに収束する最適化を保証するために果たす役割は何か？
• RQ4 真のシステムダイナミクスの知識がなくても、情報性に基づく正則化項がグローバルに最適なフィルタへの収束を可能にするか？
• RQ5 勾配降下法の正則化目的関数に対する収束レートは何か？また、再条件化ステップはこの収束にどのように寄与するか？

主な発見

• 提案されたポリシー探索アルゴリズムは、出力推定問題における最適フィルタへのグローバル収束を達成する。
• アルゴリズムは $\mathcal{O}(1/T)$ のレートで収束し、この設定における一次の最適化手法として最適である。
• 情報性正則化項は、内部状態がすべて情報を持っていることを保証することで、フィルタ最適化における退化を効果的に排除した。
• 本手法は、部分観測線形システムにおける動的フィルタに対する直接的ポリシー探索の理論的収束保証を提供する最初の手法である。
• 情報性の観点から、ラプラス方程式の解に対する新たな境界が導出され、安定性および収束解析が可能になった。
• 解析により、正則化目的関数は任意の情報性を持つフィルタの近傍で $\mathscr{C}^2$ であることが判明し、勾配ベース最適化の適用が有効であることが裏付けられた。