[논문 리뷰] Logarithmic Regret for Learning Linear Quadratic Regulators Efficiently

Asaf Cassel, Alon Cohen외 1명|arXiv (Cornell University)|2020. 02. 19.

Advanced Bandit Algorithms Research참고 문헌 32인용 수 11

한 줄 요약

이 논문은 선형 제곱형 조절기(LQR)에 대한 효율적인 학습 알고리즘을 제시하며, 두 가지 상황에서 로그적 회귀(regret)를 달성한다: 상태 전이 행렬 $A_\star$만이 알려지지 않은 경우, 또는 상태-행동 행렬 $B_\star$만이 알려지지 않은 경우이며, 최적 정책이 비퇴화(non-degenerate)인 경우이다. 내재된 시스템 노이즈를 활용하여 탐색을 유도하고, 탐욕적이고 다항시간 알고리즘을 사용함으로써 저자들은 $O(\log^2 T)$ 회귀를 달성하며, 이는 이전에 $O(\sqrt{T})$ 회귀가 날카로운 하한임이 알려져 있었다는 믿음을 도전한다.

ABSTRACT

We consider the problem of learning in Linear Quadratic Control systems whose transition parameters are initially unknown. Recent results in this setting have demonstrated efficient learning algorithms with regret growing with the square root of the number of decision steps. We present new efficient algorithms that achieve, perhaps surprisingly, regret that scales only (poly)logarithmically with the number of steps in two scenarios: when only the state transition matrix $A$ is unknown, and when only the state-action transition matrix $B$ is unknown and the optimal policy satisfies a certain non-degeneracy condition. On the other hand, we give a lower bound that shows that when the latter condition is violated, square root regret is unavoidable.

연구 동기 및 목표

• 알려지지 않은 전이 매개변수를 가진 LQR 시스템에 대해 하루하루 회귀가 루트 이하인 효율적인 학습 알고리즘을 설계하는 것.
• 알려지지 않은 행렬에 대한 특정 구조적 가정 하에 LQR에서 다항로그 회귀가 달성 가능한지 조사하는 것.
• 최적 정책이 거의 퇠퇴화(near-degenerate)일 경우, $O(\sqrt{T})$ 회귀가 피할 수 없음을 보여주는 이론적 하한을 설정하는 것.
• LQR 동역학에서 강한 볼록성과 내재된 노이즈가 일반적인 밴딧 문제보다 더 빠른 수렴 속도를 가능하게 한다는 것을 보여주는 것.

제안 방법

• 알고리즘은 알려지지 않은 매개변수 공간에서 탐색을 유도하기 위해 '불확실성에 대한 낙관주의(optimism in the face of uncertainty)' 원리를 사용한다.
• 시스템 동역학의 내재된 노이즈를 활용하여 명시적인 탐색 보상 없이도 효율적인 탐색을 가능하게 한다.
• 추정된 시스템 매개변수에서 유도된 탐욕적 제어기가 사용되며, 안정성과 성능 한계는 강한 안정성 매개변수 $\kappa$와 $\gamma$를 통해 유도된다.
• 비용 편차는 행렬 노름과 리카티 방정식 해의 스펙트럼 성질을 사용하여 유계로 제한된다.
• 핵심 기술 도구로는 행렬 농도 경계와 리아푸노프 방정식 및 스펙트럼 노름을 통한 안정성 분석이 포함된다.
• 알고리즘은 단계당 다항시간 내에 실행되며, 온라인 최소 제곱 회귀를 사용하여 $A_\star$ 또는 $B_\star$의 추정치를 유지한다.

실험 결과

연구 질문

• RQ1 상태 전이 행렬 $A_\star$만이 알려지지 않은 경우, LQR 학습에서 로그적 회귀를 달성할 수 있는가?
• RQ2 행동-상태 행렬 $B_\star$만이 알려지지 않은 경우, 최적 정책이 비퇴화일 경우에 다항로그 회귀가 가능한가?
• RQ3 최적 정책이 거의 퇰모화(near-degenerate)일 경우, LQR에서 회귀의 본질적 한계는 무엇인가?
• RQ4 내재된 시스템 노이즈가 LQR 학습에서 명시적 탐색 전략을 대체할 수 있는가?
• RQ5 일반적인 LQR 학습에서 $O(\sqrt{T})$ 회귀가 진정으로 피할 수 없는가, 아니면 더 빠른 수렴 속도를 가능하게 하는 구조적 조건이 존재하는가?

주요 결과

• 행동-상태 행렬 $B_\star$가 알려져 있고 상태 전이 행렬 $A_\star$만 알려지지 않은 경우, 내재된 노이즈를 활용하여 $O(\log^2 T)$ 회귀를 달성한다.
• 상태 전이 행렬 $A_\star$가 알려져 있고 최적 정책 $K_\star$가 전위수(full-rank)일 경우, 효율적인 계산을 통해 $O(\log^2 T)$ 회귀를 달성한다.
• 하한 분석을 통해 $B_\star$가 알려지지 않고 $K_\star$가 거의 퇰모화일 경우, 심지어 단일 입력 시스템에서도 $\Omega(\sqrt{T})$ 회귀가 피할 수 없다는 것을 보여준다.
• 결과는 LQR에서 강한 볼록성과 시스템 구조가 일반적인 밴딧 문제보다 더 빠른 회귀 속도를 가능하게 한다는 것을 입증한다.
• 제안된 알고리즘은 계산적으로 효율적이며, 단계당 시스템 차원의 다항식 시간 내에 실행된다.
• 분석은 $K$-안정성 매개변수 $\kappa$와 $\gamma$가 추정 오차와 성능 손실 사이의 트레이드오프를 제어함을 보여준다.