[논문 리뷰] Optimal and Learning Control for Autonomous Robots

Jonas Buchli, Farbod Farshidian외 3명|arXiv (Cornell University)|2017. 08. 30.

Advanced Control Systems Optimization참고 문헌 3인용 수 8

한 줄 요약

이 논문은 동적 프ogram밍, 확률적 최적 제어, 강화 학습을 일관된 표기법을 통해 통합하는 통합된 프레임워크를 제안한다. 고차원 제어 문제에서 효율적인 기울기 추정을 가능하게 하기 위해 정규화를 적용한 유한차분 기반 정책 기울기 방법을 도입하여, 복잡한 로봇 시스템에 대한 피드백 정책의 견고한 학습을 가능하게 한다.

ABSTRACT

Optimal and Learning Control for Autonomous Robots has been taught in the Robotics, Systems and Controls Masters at ETH Zurich with the aim to teach optimal control and reinforcement learning for closed loop control problems from a unified point of view. The starting point is the formulation of of an optimal control problem and deriving the different types of solutions and algorithms from there. These lecture notes aim at supporting this unified view with a unified notation wherever possible, and a bit of a translation help to compare the terminology and notation in the different fields. The course assumes basic knowledge of Control Theory, Linear Algebra and Stochastic Calculus.

연구 동기 및 목표

• 로봇 제어를 위한 단일 이론적 및 표기적 프레임워크에서 최적 제어와 강화 학습을 통합하기 위해.
• 유한차분 방법과 정규화를 활용하여 고차원 제어 문제에서 효율적인 정책 기울기 추정을 가능하게 하기 위해.
• 반복적 선형-제곱형 및 경로 적분 접근 방식을 통해 피드백 제어기 설계를 지원하기 위해.
• 이론과 실용적 알고리즘을 융합한 대학원 수준의 로봇 공학 교육을 위한 교육적 자료를 제공하기 위해.
• 기존 최적 제어와 현대적 강화 학습을 용어, 표기법, 알고리즘 구조를 일치시켜 연결하기 위해.

제안 방법

• 역방향 탐색과 비용-다음 함수를 사용하여 결정론적 및 확률적 시스템의 최적성 원리와 벨만 방정식을 유도한다.
• 연속 시간 최적 제어 해를 도출하기 위해 힘든턴-지오브-벨만 방정식을 적용한다. 유한 및 무한 수명 주기 모두에 대해.
• 시스템 동역학과 비용 함수의 국소적 선형-제곱형 근사를 통해 반복적 선형-제곱형 제어(ILQC)를 적용한다.
• 랜덤화된 편향과 선형 시스템의 의사역행렬 해를 사용한 유한차분 정책 기울기 추정을 도입한다: $[\nabla J(\theta); J(\theta)] = (\Delta\Theta^T\Delta\Theta + \lambda I)^{-1}\Delta\Theta^T R$.
• 의사역행렬에 정규화($\lambda I$)를 적용하여 수치적 안정성을 향상시키고 기울기 추정의 분산을 감소시킨다.
• 롤아웃 기반 수익 추정과 일반화된 유한차분 방법을 사용한 매개변수 갱신을 통한 기울기 하강 알고리즘을 구현한다.

실험 결과

연구 질문

• RQ1 최적 제어와 강화 학습을 어떻게 단일 이론적 및 표기적 프레임워크 아래 통합할 수 있는가?
• RQ2 해석적 기울기가 필요 없이 고차원 연속 제어 문제에서 정책 기울기를 추정하는 데 가장 효과적인 방법은 무엇인가?
• RQ3 정규화는 어떻게 유한차분 정책 기울기 추정의 강건성과 정확도를 향상시킬 수 있는가?
• RQ4 비용-다음 함수는 효율적인 역방향 동적 프로그래밍과 피드백 정책 합성에 어떻게 기여하는가?
• RQ5 반복적 선형-제곱형 및 경로 적분 방법은 로봇 공학에서 복잡한 비선형 최적 제어 문제를 어떻게 해결하는가?

주요 결과

• 정규화를 적용한 유한차분 정책 기울기 방법은 고차원 제어 문제에서 기울기를 추정하는 데 수치적으로 안정적이고 정확한 방법을 제공한다.
• 의사역행렬에 정규화를 적용함으로써, 편향 수가 매개변수 차원을 초과하는 경우조차도 기울기 추정의 분산을 감소시킬 수 있다.
• 비용-다음 함수는 최적 정책의 효율적 역방향 계산을 가능하게 하며, 동적 프로그래밍과 값 반복의 기초를 형성한다.
• ILQC 알고리즘은 시스템을 반복적으로 선형화하고 LQR 문제의 일련의 해를 구함으로써 국소적으로 최적의 피드백 정책으로 수렴한다.
• 경로 적분 접근법은 특정 가정 하에 샘플링 기반 최적 제어를 가능하게 하며, 닫힌 형태의 해를 제공함으로써 효율적인 정책 학습을 가능하게 한다.
• 일반화된 유한차분 방법은 적절한 수익 함수 수정을 통해 유한 및 무한 수명 주기 문제에 모두 적용될 수 있다.