[논문 리뷰] Efficient Gradient Estimation for Motor Control Learning

Gregory Lawrence, Noah J. Cowan외 1명|arXiv (Cornell University)|2012. 10. 19.

Reinforcement Learning in Robotics참고 문헌 10인용 수 28

한 줄 요약

이 논문은 국소 선형 모델링과 분산 기반 기울기 할인 기법을 사용하여 운동 제어를 위한 강화 학습에서 효율적인 기울기 추정을 위한 두 가지 분산 감소 기법을 제안한다. 시뮬레이션된 3관절 팔의 화살 던지기 작업에 적용했을 때, 기준 방법에 비해 기울기 추정 정확도가 크게 향상되고 학습 수렴 속도가 빨라진다.

ABSTRACT

The task of estimating the gradient of a function in the presence of noise is central to several forms of reinforcement learning, including policy search methods. We present two techniques for reducing gradient estimation errors in the presence of observable input noise applied to the control signal. The first method extends the idea of a reinforcement baseline by fitting a local linear model to the function whose gradient is being estimated; we show how to find the linear model that minimizes the variance of the gradient estimate, and how to estimate the model from data. The second method improves this further by discounting components of the gradient vector that have high variance. These methods are applied to the problem of motor control learning, where actuator noise has a significant influence on behavior. In particular, we apply the techniques to learn locally optimal controllers for a dart-throwing task using a simulated three-link arm; we demonstrate that proposed methods significantly improve the reward function gradient estimate and, consequently, the learning curve, over existing methods.

연구 동기 및 목표

• 입력 노이즈가 존재하는 정책 탐색 강화 학습에서 기울기 추정 오차를 줄이기 위해.
• 액추에이터 노이즈가 있는 운동 제어 작업에서 샘플 효율성과 학습 속도를 향상시키기 위해.
• 노이즈가 있는 정책 기울기 추정에서 분산 감소를 위한 실용적이고 데이터 기반의 방법을 개발하기 위해.
• 3차원 팔을 이용한 화살 던지기와 같은 고차원 실세계 운동 제어 작업에서의 효과성을 입증하기 위해.

제안 방법

• 관측된 데이터에 맞추어 기울기 추정의 분산을 최소화하기 위해 가치 함수를 근사하기 위해 국소 선형 모델을 도입한다.
• 관측된 데이터를 사용하여 기울기 추정 분산을 최소화하는 최적의 선형 모델 파라미터를 유도한다.
• 기울기 벡터의 고분산 성분을 감소시키기 위해 분산 기반 할인 기법을 적용한다.
• 기울기 추정의 분산을 줄이기 위해 국소 선형 모델을 정책 기울기 추정의 기준선으로 사용한다.
• 실세계 액추에이터 변동성을 모델링하기 위해 제어 신호에 노이즈를 주입하는 확률적 정책 파arameterization을 사용한다.
• 보상 기반 피드백을 사용하여 화살 던지기 작업을 위한 제어기를 학습하기 위해 시뮬레이션된 3관절 로봇 팔에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 제어 입력이 관측 가능한 노이즈에 영향을 받을 때 정책 탐색에서 기울기 추정 분산을 어떻게 줄일 수 있는가?
• RQ2 국소 선형 모델이 운동 제어 작업에서 정책 기울기 추정의 정확도를 향상시키는 데 효과적으로 사용될 수 있는가?
• RQ3 기울기 성분에 대한 분산 기반 할인이 강화 학습에서 수렴 속도를 빠르게 하는가?
• RQ4 이러한 방법들이 화살 던지기와 같은 고차원 실세계 운동 제어 작업에서 학습 성능을 얼마나 향상시키는가?
• RQ5 샘플 효율성과 수렴 속도 측면에서 표준 정책 기울기 기준선에 비해 제안된 방법은 어떻게 비교되는가?

주요 결과

• 제안된 방법은 표준 기준 방법보다 기울기 추정 분산을 더 효과적으로 줄여 더 신뢰할 수 있는 정책 업데이트를 가능하게 한다.
• 기준선으로 국소 선형 모델을 사용함으로써 정책 기울기 추정의 안정성과 정확도가 크게 향상된다.
• 분산 기반 기울기 할인은 노이즈가 많은 기울기 성분을 억제함으로써 학습을 더욱 향상시킨다.
• 학습 곡선은 기준 방법에 비해 더 빠른 수렴과 더 높은 최종 성능를 보여준다.
• 이 방법들은 더 적은 수의 롤아웃으로도 시뮬레이션 환경에서 최적 성능에 도달할 수 있도록 뛰어난 샘플 효율성을 달성한다.