[논문 리뷰] A High-order Tuner for Accelerated Learning and Control

Spencer McDonald, Yingnan Cui외 2명|arXiv (Cornell University)|2021. 03. 23.

Sparse and Compressive Sensing Techniques참고 문헌 43인용 수 5

한 줄 요약

이 논문은 시간에 따라 변하는 회귀자와 선형으로 파arameter화된 시스템에서 가속화된 학습 및 제어를 위한 고차수 튜너(HT)를 제안하며, 수렴 속도 향상을 위해 이차 정보(Hessian)를 활용한다. 노이즈가 있는 기울기 하에서 확률적 안정성과 컴act set으로의 지수 수렴을 확립하였으며, 이에 대한 경계는 노이즈 통계에 의존한다. 이는 이전의 결정론적 보장을 노이즈가 있는 실시간 환경으로 확장한 것이다.

ABSTRACT

Gradient-descent based iterative algorithms pervade a variety of problems in estimation, prediction, learning, control, and optimization. Recently iterative algorithms based on higher-order information have been explored in an attempt to lead to accelerated learning. In this paper, we explore a specific a high-order tuner that has been shown to result in stability with time-varying regressors in linearly parametrized systems, and accelerated convergence with constant regressors. We show that this tuner continues to provide bounded parameter estimates even if the gradients are corrupted by noise. Additionally, we also show that the parameter estimates converge exponentially to a compact set whose size is dependent on noise statistics. As the HT algorithms can be applied to a wide range of problems in estimation, filtering, control, and machine learning, the result obtained in this paper represents an important extension to the topic of real-time and fast decision making.

연구 동기 및 목표

• 실시간 학습 및 제어에서 노이즈가 있는 기울기 추정치를 고려한 고차수 튜너(HT)의 안정성 보장을 확장하는 것.
• 기울기가 노이즈에 의해 오염된 경우에 HT의 수렴 행동을 분석하는 것.
• 노이즈 존재 하에서 매개변수 추정치의 유계성과 컴act set으로의 지수 수렴을 확립하는 것.
• 이전의 결정론적 안정성 결과를 시간에 따라 변하는 회귀자와 함께 비마르코프(non-Markovian) 시스템으로 일반화하는 것.
• 실제 응용 분야에서 불확실성 하에서 실시간 의사결정을 내리는 데 HT를 적용하기 위한 이론적 기초를 제공하는 것.

제안 방법

• HT 알고리즘은 매개변수를 업데이트하기 위해 기울기와 헤시안 정보를 모두 사용하여 일阶 방법보다 더 빠른 수렴을 가능하게 한다.
• 노이즈가 있는 기울기 하에서 매개변수 추정 오차의 기대적 진화를 분석하기 위해 확률적 리아푸노프 함수를 구성한다.
• 도오브의 마틴게일 수렴 정리와 비마르코프 과정에 대한 라살의 유형 추론을 포함한 확률적 시스템 이론 도구를 활용한다.
• 조건부 기대값 경계를 유도하여, 매개변수 추정치가 컴act set 외부에 있을 경우 리아푸노프 함수가 기대적으로 감소함을 보여준다.
• 최근의 확률적 리아푸노프 분석 기법을 활용하여 비마르코프 역학과 시간에 따라 변하는 회귀자를 다룰 수 있다.
• 노이즈 통계와 시스템 파라미터에 기반하여 수렴 컴act set의 크기에 대한 이론적 경계를 유도한다.

실험 결과

연구 질문

• RQ1 기울기가 노이즈에 의해 오염되었을 때 고차수 튜너는 매개변수 추정치를 유계로 유지할 수 있는가?
• RQ2 노이즈에 의한 확률적 교란 하에서 HT는 컴act set으로 지수 수렴을 달성하는가?
• RQ3 수렴 컴act set의 크기는 노이즈 통계와 시스템 파라미터에 어떻게 의존하는가?
• RQ4 HT의 안정성 및 수렴 보장은 비마르코프적, 시간에 따라 변하는 시스템으로 확장될 수 있는가?
• RQ5 헤시안 정보는 노이즈 하에서 수렴 속도 향상과 강건성 향상에 어떤 역할을 하는가?

주요 결과

• 고차수 튜너는 시간에 따라 변하는 회귀자 하에서 기울기가 노이즈에 의해 오염되어도 매개변수 추정치가 유계임을 보장한다.
• 매개변수 추정치는 노이즈 분산과 시스템 파라미터에 비례하는 크기의 컴act set으로 지수 수렴한다.
• 컴act set의 크기는 노이즈 통계, 초기 매개변수 오차, 시스템 역학에 대해 명시적으로 경계된다.
• 추정치가 컴act set 외부에 있을 경우 리아푸노프 함수의 조건부 기대값이 감소하므로 확률적 안정성이 보장된다.
• 헤시안 정보 덕분에 오차 감소 속도가 가속화되어 일阶 방법보다 더 빠른 수렴 속도를 달성한다.
• 이론적 프레임워크는 비마르코프 시스템으로 확장되어 이전의 확률적 리아푸노프 결과를 넘어서 적용 범위를 넓힌다.