[논문 리뷰] Robust exploration in linear quadratic reinforcement learning

Jack Umenberger, Mina Ferizbegovic외 2명|arXiv (Cornell University)|2019. 06. 04.

Reinforcement Learning in Robotics참고 문헌 36인용 수 4

한 줄 요약

이 논문은 모델 불확실성 하에서 최악의 비용을 최소화하는 것을 목표로 하며, 선형 제어 문제에서 강력한 강화 학습을 위한 볼록 최적화 기반 방법을 제안한다. 이는 탐색과 이용의 균형을 이루며, 가장 중요한 매개변수의 불확실성을 줄이기 위해 시스템을 동적으로 자극함으로써 뛰어난 강건성과 성능을 달성한다. 시뮬레이션 및 하드웨어 인 더 루프 실험 모두에서 기준 방법보다 뛰어난 성능을 보였다.

ABSTRACT

This paper concerns the problem of learning control policies for an unknown linear dynamical system to minimize a quadratic cost function. We present a method, based on convex optimization, that accomplishes this task robustly: i.e., we minimize the worst-case cost, accounting for system uncertainty given the observed data. The method balances exploitation and exploration, exciting the system in such a way so as to reduce uncertainty in the model parameters to which the worst-case cost is most sensitive. Numerical simulations and application to a hardware-in-the-loop servo-mechanism demonstrate the approach, with appreciable performance and robustness gains over alternative methods observed in both.

연구 동기 및 목표

• 모델가 불확실한 선형 동적 시스템에서 제곱 비용을 가진 제어 정책을 학습할 때 탐색과 이용의 상충 문제를 해결하기 위해.
• 관측된 데이터로부터 유도된 모델 불확실성 하에서 최악의 비용을 최소화하여 강건한 성능을 확보하기 위해.
• 최악의 비용에 가장 큰 영향을 미치는 매개변수에만 불확실성을 줄이기 위해 타겟팅된 탐색 전략을 설계하기 위해.
• 강건한 LQR를 위한 계산적으로 타당한 볼록 근사화를 개발하여 효율적인 정책 합성 가능하게 하기 위해.
• 수치 시뮬레이션과 하드웨어 인 더 루프 실험을 통해 방법을 검증하여 향상된 성능과 강건성을 입증하기 위해.

제안 방법

• 시스템 매개변수 추정 오차의 스펙트럼 노름에 대한 고확률 경계를 유도하여, 강건 제어를 위한 불확실성 정량화를 가능하게 한다.
• 매개변수 불확실성 하에서 최악의 비용을 최소화하는 무한 시간 평균 LQR 문제에 대한 볼록 정수형 프로그래밍(SDP) 근사를 제안한다.
• 불확실성 경계와 볼록 LQR 근사를 융합하여 탐색과 이용을 균형 잡은 강건 강화 학습(RRL) 프레임워크를 구축한다.
• 정책 업데이트를 향후 최악의 비용 민감도를 기반으로 유도하기 위해 시뮬레이션에서는 h=10, 하드웨어에서는 h=5의 봉인 전망 기간을 사용한다.
• 불확실성을 가장 중요한 모델 매개변수에 집중적으로 줄이기 위해 탐색 분산을 적응적으로 최적화한다. 이는 임의적이거나 무작위적인 탐색을 피하기 위함이다.
• 명목상의 강건 정책을 기준선으로 삼고, 이론적 최악의 비용을 충족시키기 위해 분산을 증가시키는 탐욕적 탐색 정책과 비교한다.

실험 결과

연구 질문

• RQ1 최악의 제어 성능에 가장 큰 영향을 미치는 매개변수의 불확실성을 줄이기 위해 탐색을 체계적으로 어떻게 타겟팅할 수 있는가?
• RQ2 모델 불확실성 하에서 최악의 LQR 문제를 효율적으로 근사화할 수 있는 볼록 최적화 프레임워크를 사용할 수 있는가?
• RQ3 최악의 비용 최소화와 타겟팅된 탐색을 통합한 강건 강화 학습이 순수 이용 또는 무작위 탐색 정책보다 우수한 성능을 보일 수 있는가?
• RQ4 제안된 방법은 실제 하드웨어 인 더 루프 제어 시나리오에서 얼마나 강건성과 성능을 향상시키는가?
• RQ5 낮은 총 불확실성 감소율에도 불구하고, 제안된 방법이 탐욕적 탐색에 비해 정보 수득(불확실성 감소)이 더 뛰어나지 않음에도 불구하고 비용 측면에서 더 우수한 성능를 보이는 이유는 무엇인가?

주요 결과

• 수치 시뮬레이션에서 제안된 RRL 방법은 명목 정책(순수 이용)과 탐욕적 정책(무작위 탐색) 모두보다 낮은 총 비용을 달성한다.
• 초기 에포크에는 탐색 부족으로 인해 명목 정책이 더 우수한 성능를 보였지만, RRL은 후속 단계에서 이를 뛰어넘어 효과적인 장기 학습을 보여준다.
• RRL은 탐욕적 탐색보다 더 전략적으로 불확실성을 줄이며, 정보 수득은 명목 정책보다는 낮고 탐욕적 탐색보다는 높지만, 비용 측면에선 둘 다 뛰어난 성능를 보인다.
• 하드웨어 인 더 루프 실험에서 RRL은 총 비용과 에포크당 비용 측면에서 모두 기준 방법보다 뚜렷이 뛰어난 성능를 보였다.
• 이론적 최악의 행동을 기반으로 모델 불확실성을 업데이트하더라도 RRL은 강건한 성능를 유지를 확인하여 최악의 비용 최적화 목표를 성실히 달성함을 입증했다.
• 정보 지표(1/λ_max(D_i^{-1}))는 RRL이 비용 감소와 직접적인 상관관계를 가지는 방식으로 불확실성을 줄임을 보여주며, 이는 타겟팅된 학습의 효과를 입증한다.