[논문 리뷰] Efficient Optimistic Exploration in Linear-Quadratic Regulators via Lagrangian Relaxation

Marc Abeille, Alessandro Lazaric|arXiv (Cornell University)|2020. 07. 13.

Advanced Bandit Algorithms Research인용 수 8

한 줄 요약

이 논문은 선형-제곱형 조정기(LQR)에서 낙관적 탐색을 위한 계산적으로 효율적인 알고리즘인 LagLQ를 제안한다. 이는 라그랑주 승수를 통한 재구성으로 유한한 시간 폭에서의 낙관적 제어 문제를 재정의함으로써 이루어지며, 강력한 이중성(duality)을 증명하고, ϵ-최적의 제어기를 O(log(1/ϵ))개의 리카티 방정식을 풀어 계산할 수 있음을 보여준다. 이로 인해 다항 시간 복잡도를 갖는 Õ(√T)의 리그레트를 달성하며, 이는 최적의 리그레트 보장을 갖는 첫 번째 효율적인 신뢰 기반 LQR 알고리즘이다.

ABSTRACT

We study the exploration-exploitation dilemma in the linear quadratic regulator (LQR) setting. Inspired by the extended value iteration algorithm used in optimistic algorithms for finite MDPs, we propose to relax the optimistic optimization of \ofulq and cast it into a constrained extit{extended} LQR problem, where an additional control variable implicitly selects the system dynamics within a confidence interval. We then move to the corresponding Lagrangian formulation for which we prove strong duality. As a result, we show that an $ε$-optimistic controller can be computed efficiently by solving at most $O\big(\log(1/ε)\big)$ Riccati equations. Finally, we prove that relaxing the original \ofu problem does not impact the learning performance, thus recovering the $ ilde{O}(\sqrt{T})$ regret of \ofulq. To the best of our knowledge, this is the first computationally efficient confidence-based algorithm for LQR with worst-case optimal regret guarantees.

연구 동기 및 목표

• 최적의 리그레트 보장을 갖는 신뢰 기반 탐색을 위한 계산적으로 효율적인 알고리즘이 부족한 문제를 해결하기 위해.
• 라그랑주 승수를 통한 변환을 통해 LQR에서 낙관적 제어기를 효율적으로 계산할 수 있도록 문제를 제약 조건이 있는 확장된 LQR로 변형하기 위해.
• 신뢰 타원체 제약 조건을 완화해도 리그레트 성능이 떨어지지 않음을 증명하여, OFU-LQ의 Õ(√T) 리그레트 경계를 유지하기 위해.
• 라그랑주 수식에서 강력한 이중성을 확립하여 리카티 방정식의 해법을 통해 효율적인 해를 도출하기 위해.
• 고비용의 SDP 기반 방법(예: OSLO)이나 장기 초기화 단계를 필요로 하는 탐색-그런 다음-실행 전략보다 실용적이고 확장 가능한 알고리즘을 제공하기 위해.

제안 방법

• 낙관적 유한 시간 폭 LQR 문제에서의 신뢰 타원체 제약 조건을 완화하여, 동적 모델이 신뢰 간격 내에 있는 것을 선택할 수 있는 추가 제어 변수를 가진 제약 조건이 있는 확장된 LQR 문제로 변환한다.
• 제약 조건이 있는 LQR 문제에 라그랑주 승수를 적용하여, 신뢰 제약 조건과 관련된 이중 변수를 가진 정규화된 최적화 문제로 변환한다.
• 강력한 이중성을 증명하여, 이중 문제의 최적 해가 원래 제약 조건이 있는 문제의 최적 해를 복원함을 보장한다.
• ϵ-최적 및 ϵ-가능한 제어기를 이중 수식을 활용하여 최대 O(log(1/ϵ))개의 리카티 방정식을 풀어 계산한다.
• 이중 해가 원래 제약 조건을 충족하지 못할 수 있는 희귀한 케이스를 처리하기 위해 백업 절차를 사용하지만, 실험 결과에 따르면 이는 거의 발생하지 않는다.
• 지속적인 업데이트를 최소화하기 위해 레이지 업데이트(lazy updates)를 지원하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 낙관적 유한 시간 폭 LQR 문제를 어떻게 재구성하면 효율적인 계산을 유지하면서도 리그레트 보장을 유지할 수 있는가?
• RQ2 OFU-LQR 문제에서 신뢰 타원체 제약 조건을 완화하면 리그레트 성능에 영향을 미치는가?
• RQ3 라그랑주 승수를 통해 LQR에서의 신뢰 기반 탐색을 위한 계산적으로 효율적인 알고리즘을 유도할 수 있는가?
• RQ4 라그랑주 수식 하에서 ϵ-최적 제어기를 계산하는 데 필요한 계산 복잡도는 얼마인가?
• RQ5 제안된 방법의 성능은 CECCE 및 OSLO와 같은 기존의 효율적인 방법들과 리그레트 및 런타임 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 라그랑주 승수 접근법은 강력한 이중성을 확보하여, 이중 문제의 최적 해가 원래 제약 조건이 있는 LQR 문제의 최적 해를 정확히 복원함을 보여준다.
• ϵ-최적의 제어기는 최대 O(log(1/ϵ))개의 리카티 방정식을 풀어 계산되며, 이는 저비용의 다항 시간 알고리즘이다.
• 알고리즘의 리그레트는 OFU-LQ의 Õ(√T) 경계와 정확히 일치하며, 신뢰 제약 조건을 완화해도 학습 성능이 떨어지지 않음을 확인한다.
• 실험적 평가 결과, CECCE를 소Noise 분산을 줄여 튜닝한 경우조차도 LagLQ가 리그레트 측면에서 더 우수한 성능을 보였다. 이는 LagLQ의 불확실성 인식 탐색 전략이 더 효과적임을 시사한다.
• LagLQ의 구현은 매우 효율적이며, 각 제어기 계산은 50~80ms 내로 수행되며, ϵ = 10⁻¹²일 때 약 35~40회 반복 내에 수렴한다. 백업 절차는 거의 사용되지 않는다.
• OSLO의 장기 초기화 단계를 피함으로써 탐색-그런 다음-실행 전략으로 떨어지지 않으며, SDP 기반 접근보다도 더 확장 가능하다.