[논문 리뷰] Guided Policy Search with Delayed Senor Measurements.

Connor Schenck, Dieter Fox|arXiv (Cornell University)|2016. 09. 10.

Reinforcement Learning in Robotics참고 문헌 23인용 수 3

한 줄 요약

이 논문은 상태 보강을 통해 지도형 정책 탐색을 비마르코프적 환경, 즉 지연된 센서 측정값을 가진 환경로 확장하여 정밀한 액체倒기 작업과 같은 작업에 효과적으로 학습할 수 있도록 한다. 이 방법은 샘플 효율성을 유지하면서도 센서 지연에도 불구하고 높은 정밀도를 달성하며, 실제 로봇 제어 환경에서 강인한 성능을 보여준다.

ABSTRACT

Guided policy search is a method for reinforcement learning that trains a general policy for accomplishing a given task by guiding the learning of the policy with multiple guiding distributions. Guided policy search relies on learning an underlying dynamical model of the environment and then, at each iteration of the algorithm, using that model to gradually improve the policy. This model, though, often makes the assumption that the environment dynamics are markovian, e.g., depend only on the current state and control signal. In this paper we apply guided policy search to a problem with non-markovian dynamics. Specifically, we apply it to the problem of pouring a precise amount of liquid from a cup into a bowl, where many of the sensor measurements experience non-trivial amounts of delay. We show that, with relatively simple state augmentation, guided policy search can be extended to non-markovian dynamical systems, where the non-markovianess is caused by delayed sensor readings.

연구 동기 및 목표

• 센서 측정값이 지연되는 비마르코프적 동역학 시스템에 지도형 정책 탐색을 적용하는 데 도전하는 것.
• 지연된 감각 피드백이 있는 로봇 제어 작업에서 샘플 효율적인 강화 학습을 가능하게 하는 것.
• 센서 지연으로 인한 환경의 비마르코프성에도 불구하고 정책의 일반화 능력과 성능를 유지하는 것.
• 상태 보강이 비마르코프 문제를 정책 학습을 위한 마르코프 문제로 변환하는 데 얼마나 효과적인지 보여주는 것.

제안 방법

• 시스템 동역학의 마르코프 성질을 복원하기 위해 지연된 센서 측정값을 상태 공간에 보강하는 것.
• 표준 지도형 정책 탐색과 마찬가지로 정책 최적화 중 환경 전이를 시뮬레이션하기 위해 학습된 동역학 모델을 사용하는 것.
• 보강된 상태 공간을 사용하여 반복적으로 정책을 향상시키기 위해 지도형 정책 탐색을 적용하는 것.
• 지연된 센서 읽기를 상태 표현에 통합하여 정책이 완전한 이전 관측 기반으로 결정을 내릴 수 있도록 하는 것.
• 보강된 상태를 통해 지연된 피드백에도 불구하고 정확한 정책 업데이트를 가능하게 하기 위해 시범 예제와 모델 기반 롤아웃을 사용해 정책을 훈련하는 것.
• 예를 들어 액체倒기와 같은 작업의 구조를 활용하여 관련된 지연 정보를 포괄하는 의미 있는 상태 보강을 정의하는 것.

실험 결과

연구 질문

• RQ1 지연된 측정값이 있는 비마르코프적 시스템에 대해 지도형 정책 탐색이 효과적으로 적용될 수 있는가?
• RQ2 지연된 측정값을 포함한 상태 보강이 이러한 환경에서 정책 학습을 어떻게 향상시키는가?
• RQ3 제안된 방법은 지연된 피드백이 있는 실제 로봇 제어 작업에서 샘플 효율성과 성능를 유지하는가?
• RQ4 보강된 상태 공간이 지도형 정책 탐색에 필수적인 마르코프 성질을 얼마나 잘 복원하는가?
• RQ5 이 방법은 센서 지연이 있는 정밀한 액체倒기와 같은 복잡한 조작 작업으로 일반화될 수 있는가?

주요 결과

• 제안된 방법은 상태 보강을 통해 지연된 센서 측정값이 있는 비마르코프적 시스템에 지도형 정책 탐색을 성공적으로 확장한다.
• 상태 보강 덕분에 지연된 센서 지연에도 불구하고 액체倒기 작업에서 높은 정밀도를 달성할 수 있다.
• 지연된 관측에도 불구하고 모델 기반 롤아웃과 지도 학습을 활용하여 샘플 효율성을 유지한다.
• 실제 로봇 실험에서 강인한 성능을 보이며, 지연된 센서 환경에 대한 실용적인 타당성을 입증한다.
• 결과적으로 센서 지연으로 인한 비마르코프적 동역학은 체계적인 상태 보강을 통해 효과적으로 완화될 수 있음을 시사한다.