[논문 리뷰] Globally Convergent Policy Search over Dynamic Filters for Output Estimation

Jack Umenberger, Max Simchowitz외 3명|arXiv (Cornell University)|2022. 02. 23.

Stochastic Gradient Optimization Techniques인용 수 5

한 줄 요약

이 논문은 노이즈가 있는 부분 관측이 있는 선형 동적 시스템에서 출력 추정을 위한 글로벌 최적의 동적 필터를 증명 가능하게 수렴하는 최초의 직접 정책 탐색 알고리즘을 제안한다. 정보성 기반 정규화자와 재조건화 단계를 도입함으로써, 정규화된 목적 함수에 대한 경사수하가 O(1/T) 속도로 전역 수렴을 보장하며, 상태 기반 필터 최적화에서 발생하는 열화 현상을 극복한다.

ABSTRACT

We introduce the first direct policy search algorithm which provably converges to the globally optimal $ extit{dynamic}$ filter for the classical problem of predicting the outputs of a linear dynamical system, given noisy, partial observations. Despite the ubiquity of partial observability in practice, theoretical guarantees for direct policy search algorithms, one of the backbones of modern reinforcement learning, have proven difficult to achieve. This is primarily due to the degeneracies which arise when optimizing over filters that maintain internal state. In this paper, we provide a new perspective on this challenging problem based on the notion of $ extit{informativity}$, which intuitively requires that all components of a filter's internal state are representative of the true state of the underlying dynamical system. We show that informativity overcomes the aforementioned degeneracy. Specifically, we propose a $ extit{regularizer}$ which explicitly enforces informativity, and establish that gradient descent on this regularized objective - combined with a ``reconditioning step'' - converges to the globally optimal cost a $\mathcal{O}(1/T)$ rate. Our analysis relies on several new results which may be of independent interest, including a new framework for analyzing non-convex gradient descent via convex reformulation, and novel bounds on the solution to linear Lyapunov equations in terms of (our quantitative measure of) informativity.

연구 동기 및 목표

• 상태 기반 필터에서 발생하는 열화 현상으로 인해 직접 정책 탐색에 이론적 보장이 부족한 부분 관측 제어 문제에 대한 해결.
• 노이즈가 있는 부분 관측이 있는 선형 동적 시스템에서 최적의 동적 필터를 학습하기 위한 증명 가능한 수렴 최적화 방법 개발.
• 내부 상태를 가진 필터 최적화 과정의 과제를 해결하기 위해 정보성 기반으로 새롭게 정의된 정규화자 도입.
• 재조건화 단계를 통한 정규화된 목적 함수에 대한 경사수하의 전역 수렴을 확립하여 전역 최적 필터로의 수렴 보장.

제안 방법

• 필터의 내부 상태가 진정으로 시스템 상태를 표현하도록 보장하는 정보성($\mathcal{R}_{\mathtt{info}}$)을 강제하는 새로운 정규화자 도입.
• 최적화 안정성과 필터 매개변수 공간 내의 열화 현상 방지를 위한 재조건화 단계 제안.
• 비볼록 경사수하 분석을 가능하게 하기 위해 볼록 재구성 프레임워크 사용.
• 정보성 측정치에 기반한 선형 라플라스 방정식 해에 대한 새로운 경계 유도.
• 정규화된 목적 함수 $\mathcal{L}_{\lambda} = \mathcal{L}_{\mathtt{OE}} + \lambda \mathcal{R}_{\mathtt{info}}$ 에 대해 경사수하 적용으로 전역 수렴 보장.
• 제안된 알고리즘 하에서 정규화된 목적 함수에 대한 $\mathcal{O}(1/T)$ 수렴 속도 확립.

실험 결과

연구 질문

• RQ1 부분 관측 선형 시스템에서 출력 추정을 위한 동적 필터에 대한 직접 정책 탐색이 이론적 보장 하에 전역 수렴을 달성할 수 있는가?
• RQ2 필터의 내부 상태 간 의존성으로 인해 발생하는 열화 현상을 최적화 과정에서 어떻게 극복할 수 있는가?
• RQ3 정보성(필터의 내부 상태가 진정한 시스템 상태를 얼마나 잘 표현하는지)이 안정적이고 전역 수렴 가능한 최적화를 보장하는 데 어떤 역할을 하는가?
• RQ4 진정한 시스템 동역학에 대한 지식 없이도 정보성 기반 정규화자가 전역 최적 필터로의 수렴을 가능하게 할 수 있는가?
• RQ5 정규화된 목적 함수에 대한 경사수하의 수렴 속도는 무엇이며, 재조건화 단계는 이에 어떻게 기여하는가?

주요 결과

• 제안된 정책 탐색 알고리즘은 출력 추정 문제에 대해 최적 필터로의 전역 수렴을 달성한다.
• 알고리즘은 $\mathcal{O}(1/T)$ 속도로 수렴하며, 이는 이 설정에서의 1차 최적화 방법에 대해 최적의 속도이다.
• 정보성 정규화자가 필터 최적화에서 발생하는 열화 현상을 성공적으로 제거하여 모든 내부 상태가 정보성을 가지도록 보장한다.
• 이 방법은 부분 관측 선형 시스템에서 동적 필터에 대한 직접 정책 탐색에 대해 이론적 수렴 보장을 제공하는 최초의 방법이다.
• 정보성에 기반한 라플라스 방정식 해에 대한 새로운 경계가 도출되어 안정성 및 수렴 분석이 가능해졌다.
• 분석 결과, 정규화된 목적 함수는 정보성이 있는 모든 필터 주변에서 $\mathscr{C}^2$임을 밝혀내어 경사 기반 최적화의 적용을 뒷받침한다.