[논문 리뷰] Episodic Linear Quadratic Regulators with Low-rank Transitions

Tianyu Wang, Lin F. Yang|arXiv (Cornell University)|2020. 11. 03.

Advanced Bandit Algorithms Research참고 문헌 42인용 수 4

한 줄 요약

이 논문은 저랭크 시스템 동역학을 가진 에피소딕 선형 제곱조절기(LQR)를 위한 모델 기반 강화학습 알고리즘을 제안한다. 주성분 분석(PCA)을 통한 저랭크 근사와 낙관적 제어를 조합함으로써, 알고리즘은 $\widetilde{\mathcal{O}}(m^{3/2}\sqrt{K})$의 정규화된 정규화된 손실 경계를 달성한다. 여기서 $m$은 시스템의 내재 랭크이며, 환경 상태 차원 $d$에 영향을 받지 않아, 이미지 기반 제어와 같은 고차원 설정에서도 효율적인 학습이 가능하다.

ABSTRACT

Linear Quadratic Regulators (LQR) achieve enormous successful real-world applications. Very recently, people have been focusing on efficient learning algorithms for LQRs when their dynamics are unknown. Existing results effectively learn to control the unknown system using number of episodes depending polynomially on the system parameters, including the ambient dimension of the states. These traditional approaches, however, become inefficient in common scenarios, e.g., when the states are high-resolution images. In this paper, we propose an algorithm that utilizes the intrinsic system low-rank structure for efficient learning. For problems of rank-$m$, our algorithm achieves a $K$-episode regret bound of order $\widetilde{O}(m^{3/2} K^{1/2})$. Consequently, the sample complexity of our algorithm only depends on the rank, $m$, rather than the ambient dimension, $d$, which can be orders-of-magnitude larger.

연구 동기 및 목표

• 기존 LQR 학습 알고리즘이 환경 상태 차원 $d$에 대해 다항식적으로 증가하는 비효율성, 특히 이미지 기반 제어와 같은 고차원 설정에서의 문제를 해결하기 위해.
• 시스템 동역학의 저랭크 구조를 활용하여 샘플 복잡도를 줄일 수 있는지 탐구하기 위해.
• 내재 랭크 $m$에만 의존하는 비선형 정규화된 손실을 달성하는 온라인 학습 알고리즘을 설계하기 위해.
• 상태가 고차원이지만 내재 차원이 낮은 경우에 효율적인 학습을 가능하게 하기 위해.

제안 방법

• 알고리즘은 수집된 궤적을 기반으로 최소 제곱법 회귀를 통해 시스템 동역학 $M = [A\; B]$를 추정하는 모델 기반 접근 방식을 사용한다.
• 주성분 분석(PCA)을 적용하여 상태-행동 데이터를 랭크 $m$의 저차원 부분공간으로 투영함으로써 내재 동역학을 포괄한다.
• 낮은 랭크 모델에 대한 불확실성 추정치를 바탕으로 낙관적 제어 정책을 계산하며, OFU(불확실성에 대한 낙관주의) 원칙을 통해 탐색과 이용의 균형을 이룬다.
• 모든 데이터 포인트를 최종 에피소드에서 추출한 PCA 부분공간으로 투영하여, 에피소드 간 부분공간 추정의 안정성을 확보한다.
• 누적 불확실성을 제한하기 위해 자기 정규화된 랜덤 과정 분석을 활용하여, 정규화된 손실이 환경 차원 $d$에 의존하지 않도록 보장한다.
• 최종 정규화된 손실 경계는 행렬 행렬식 부등식과 로그 추적 경계를 활용하여 유도되며, 저랭크 구조를 이용해 $d$에 대한 의존성을 분리한다.

실험 결과

연구 질문

• RQ1 시스템의 내재 랭크 $m$에만 의존하는 LQR 학습 알고리즘을 설계할 수 있는가, 이는 환경 차원 $d$에 의존하지 않는가?
• RQ2 저랭크 근사와 온라인 제어 학습을 효과적으로 융합하여 정규화된 손실 보장을 유지할 수 있는가?
• RQ3 시스템 동역학이 저랭크이지만 관측 공간이 고차원일 경우, 근본적인 정규화된 손실 경계는 무엇인가?
• RQ4 기본 상태 공간의 내재 차원이 낮지만 관측 상태가 고차원일 경우, 에피소딕 LQR에서 비선형 정규화된 손실을 유지할 수 있는가?
• RQ5 순차적 학습 환경에서 에피소드 간 변경되는 PCA 부분공간으로 인해 발생하는 불안정성을 어떻게 다룰 수 있는가?

주요 결과

• 제안된 알고리즘은 $K$-에피소드 정규화된 손실 경계 $\widetilde{\mathcal{O}}(m^{3/2}\sqrt{K})$를 달성하며, 이는 시스템 동역학의 내재 랭크 $m$에만 의존한다.
• 정규화된 손실 경계는 환경 상태 차원 $d$에 영향을 받지 않아, 이미지와 같은 고차원 입력에 적합하다.
• 알고리즘의 샘플 복잡도는 $m$에 대해 다항식적이며, 이는 이전 방법이 $\mathrm{poly}(d)$에 비해 크게 향상된 것이다.
• 분석을 통해 랭크 결함이 있는 자기 정규화된 과정의 행렬식에 대한 새로운 경계를 확립하여, 정규화된 손실의 $m$-의존성을 가능하게 하였다.
• 이미지 기반 제어 작업(예: 카트폴)에 대한 실험 결과는 고차원 관측에도 불구하고 알고리즘이 잘 일반화됨을 확인하였다.
• 기본 시스템의 내재 차원이 낮을 경우, 표준 LQR 학습 기반선 대비 샘플 효율성이 뛰어나다.