[논문 리뷰] Approximate Inference and Stochastic Optimal Control

Konrad Rawlik, Marc Toussaint외 1명|arXiv (Cornell University)|2010. 09. 20.

Reinforcement Learning in Robotics참고 문헌 33인용 수 20

한 줄 요약

이 논문은 확률적 최적 제어 문제를 근사 추론 문제로 재구성함으로써, 새로운 종류의 반복적이고 모델에 의존하지 않으며, 오프-폴리시 강화 학습 알고리즘을 가능하게 한다. 자연스러운 이중형식의 완화를 활용함으로써, 이중형식의 완화를 통해 이론적으로는 이산 및 연속 제어 과제에서 최적에 가까운 정책으로 수렴할 수 있으며, 선형 정규분포 가우시안(LQG) 진자 문제를 포함한 과제들에서도 안정적인 학습이 가능하다. 초기 정책이 불안정하더라도 안정적인 수렴이 이루어진다.

ABSTRACT

We propose a novel reformulation of the stochastic optimal control problem as an approximate inference problem, demonstrating, that such a interpretation leads to new practical methods for the original problem. In particular we characterise a novel class of iterative solutions to the stochastic optimal control problem based on a natural relaxation of the exact dual formulation. These theoretical insights are applied to the Reinforcement Learning problem where they lead to new model free, off policy methods for discrete and continuous problems.

연구 동기 및 목표

• 확률적 최적 제어와 확률적 추론을 통합하는 새로운 이론적 프레임워크를 개발하는 것.
• 이 재구성에서 반복적이고 모델에 의존하지 않으며 오프-폴리시 강화 학습 알고리즘을 유도하는 것.
• 연속 제어 과제, 특히 LQG 시스템을 포함한 실용적 적용 가능성을 입증하는 것.
• 불안정한 초기 정책으로 시작하더라도 최적에 가까운 정책으로 수렴하는 성질을 보이는 것.
• 이전 연구를 넘어 연속 설정에서 몬테카를로 근사 없이 해석적 해를 도출할 수 있도록 일반화하는 것.

제안 방법

• 변분 베이지안 접근법을 사용하여 확률적 최적 제어 문제를 근사 추론 문제로 재구성한다.
• 자연적 그래เดียน트 업데이트를 통한 반복 최적화를 가능하게 하는 완화된 이중형식을 유도한다.
• 기대-최대화(EM) 프레임워크를 적용하여 제어 문제에 대한 새로운 반복적 해법의 클래스를 도출한다.
• 연속 제어를 위한 LSΨ 알고리즘을 제안하며, 기저 함수를 사용해 정책 파라미터를 표현하고 궤적 샘플링을 통해 업데이트한다.
• 안정적인 학습과 수치적 안정성을 확보하기 위해 제약 조건을 부여한 에피소드 샘플링과 분산 기준 조정 기법을 사용한다.
• 평가를 위해 기대 비용과 정책 오차의 L2 노름에 대한 몬테카를로 추정을 사용한다.

실험 결과

연구 질문

• RQ1 추가적인 가정 없이도 확률적 최적 제어 문제를 정확히 근사 추론 문제로 재구성할 수 있는가?
• RQ2 확률적 제어의 이중형식은 어떻게 완화되어 실용적인 반복적 해법을 도출할 수 있는가?
• RQ3 이 재구성은 이산 및 연속 문제 모두에 대해 새로운 모델에 의존하지 않고 오프-폴리시 강화 학습 알고리즘을 도출할 수 있는가?
• RQ4 불안정한 정책으로 초기화했을 때, 유도된 알고리즘의 수렴 성질은 어떠한가?
• RQ5 연속 제어 설정에서 몬테카를로 근사 없이 해석적 해를 도출할 수 있는가?

주요 결과

• LSΨ 알고리즘은 L2 노름의 정책 오차 감소를 통해 연속적인 LQG 진자 제어 과제에서 최적에 가까운 정책 이득을 성공적으로 학습한다.
• LSΨ 정책 하에서의 기대 비용은 최적 값으로 수렴하며, 초기 정책이 상당히 열 劣함에도 불구하고 최첨단 기법과 유사한 성능을 보인다.
• 초기 정책이 불안정함에도 불구하고 약 600~700 에피소드 후 시스템이 안정화되며, 이를 통해 증가하는 에피소드 길이로 확인된다.
• 이전 방법들과 달리, 초기 정책이 안정적이거나 비용 함수가 할인되지 않아도 수렴이 가능하다.
• 기저 함수의 사용 덕분에 연속 케이스에서 해석적 업데이트가 가능해져 계산 비용이 높은 몬테카를로 방법에 대한 의존도를 감소시킨다.