[논문 리뷰] Fitting a Linear Control Policy to Demonstrations with a Kalman Constraint

Malayandi Palan, Shane Barratt외 4명|arXiv (Cornell University)|2020. 01. 21.

Reservoir Engineering and Simulation Methods인용 수 10

한 줄 요약

이 논문은 전문가의 시범 데이터로부터 선형 제어 정책을 학습하기 위한 새로운 방법을 제안한다. 이 방법은 칼만 제약 조건을 도입하여 정책이 어떤 LQR 문제에 대해 최적임을 보장함으로써 안정성을 확보한다. ADMM 기반 최적화를 통해 소수의 시범 데이터로도 학습이 안정화되며, 기존의 정책 피팅 기법이 불안정성 또는 무한 비용으로 실패하는 상황에서도 유한하고 낮은 비용의 정책을 일관되게 도출한다.

ABSTRACT

We consider the problem of learning a linear control policy for a linear dynamical system, from demonstrations of an expert regulating the system. The standard approach to this problem is policy fitting, which fits a linear policy by minimizing a loss function between the demonstrations and the policy's outputs plus a regularization function that encodes prior knowledge. Despite its simplicity, this method fails to learn policies with low or even finite cost when there are few demonstrations. We propose to add an additional constraint to policy fitting, that the policy is the solution to some LQR problem, i.e., optimal in the stochastic control sense for some choice of quadratic cost. We refer to this constraint as a Kalman constraint. Policy fitting with a Kalman constraint requires solving an optimization problem with convex cost and bilinear constraints. We propose a heuristic method, based on the alternating direction method of multipliers (ADMM), to approximately solve this problem. Numerical experiments demonstrate that adding the Kalman constraint allows us to learn good, i.e., low cost, policies even when very few data are available.

연구 동기 및 목표

• 선형 동적 시스템에서 소수의 전문가 시범 데이터로부터 안정적이고 낮은 비용의 선형 제어 정책을 학습하는 데 도전한다.
• 시범 데이터가 부족할 경우 기존의 정책 피팅 기법이 불안정성 또는 무한 비용으로 인해 실패하는 문제를 해결한다.
• 학습된 정책가 어떤 LQR 문제에 대해 최적임을 보장하는 칼만 제약 조건을 도입하여 내재된 안정성과 강건성을 확보한다.
• 이 제약 조건을 정책 피팅에 통합한 실용적인 볼록 최적화 기반 방법을 개발한다.
• 최소한의 데이터로도 안정적이고 유한 비용의 정책을 복구할 수 있음을 입증한다.

제안 방법

• 정책 피팅에 칼만 제약 조건을 도입한 이중 볼록 최적화 문제로 공식화하며, 볼록 비용과 이차형(리카티 기반) 제약 조건을 포함한다.
• 비볼록 문제를 근사적으로 해결하기 위해 교대 방식의 다중변수 최적화(ADMM)를 히우리스틱으로 사용하며, 볼록 하위문제를 번갈아가며 해결한다.
• LQR 최적성의 리카티 방정식 조건을 제약 조건으로 통합하여, 정책가 어떤 이차 비용 함수에 대해 최적임을 보장한다.
• 노이즈가 섞이거나 외곽값이 포함된 시범 데이터에 대한 강건성을 향상시키기 위해 허버 손실과 티코노프 정규화를 적용한다.
• 비용 함수와 시간에 따라 변하는 리카티 제약 조건을 수정하여 유한 시간 및 추적 제어 문제로의 확장을 수행한다.
• ADMM를 사용해 반복적으로 최적화 문제를 해결함으로써 계산의 타당성을 유지한다.

실험 결과

연구 질문

• RQ1 시범 데이터가 부족할 경우 칼만 제약 조건이 선형 시스템에서 정책 학습에 개선을 가져올 수 있는가?
• RQ2 칼만 제약 조건을 통해 LQR 최적성을 강제하면 무한 비용 정책을 방지하고 안정성을 확보할 수 있는가?
• RQ3 소수의 시범 데이터로 인해 기존의 정책 피팅 기법과 비교할 때 비용과 신뢰성 측면에서 본 논문의 방법은 어떠한가?
• RQ4 외곽값이 포함된 노이즈가 섞인 또는 손상된 시범 데이터 상황에서도 방법이 효과적으로 유지되는가?
• RQ5 이 방법은 유한 시간 및 추적 제어 문제로 얼마나 넓게 일반화될 수 있는가?

주요 결과

• 칼만 제약 조건을 적용한 정책 피팅은 모든 실험 설정에서 일관되게 유한한 기대 비용을 달성했으며, 기존의 정책 피팅 기법은 소수의 시범 데이터로 100%의 시뮬레이션에서 무한 비용을 기록했다.
• 비행기 제어 사례에서, 제안된 방법은 특히 10건 이하의 시범 데이터로도 기존 정책 피팅 기법보다 유의미하게 낮은 기대 비용을 달성했다.
• 5건 이하의 시범 데이터로도 기존 정책 피팅 기법은 40~60%의 시도에서 안정적 정책을 생성하지 못했지만, 칼만 제약 조건을 적용한 방법은 100%의 경우에서 유한한 비용을 유지했다.
• 외곽값이 포함된 LQR 실험에서, 제안된 방법은 제어 입력의 10%가 뒤집혀진 상황에서도 유한한 비용과 낮은 기대 비용을 유지했으며, 기존 정책 피팅 기법을 능가했다.
• 최소 5건의 시범 데이터로도 전문가 수준과 최적 정책의 성능에 가까운 정책을 성공적으로 복구했다.
• ADMM 기반 알고리즘이 신뢰성 있게 수렴했으며, 기울기 기반 튜닝이나 광범위한 초모수 조정 없이도 안정적이고 낮은 비용의 정책을 생성했다.