[논문 리뷰] Regularizing Trajectory Optimization with Denoising Autoencoders

Rinu Boney, Norman Di Palo외 5명|arXiv (Cornell University)|2019. 01. 01.

Robotic Locomotion and Control인용 수 4

한 줄 요약

이 논문은 모델 기반 강화 학습에서 궤적 최적화를 정규화하기 위해 환경 모델을 학습하는 데 사용된 동일한 궤적을 기반으로 노이즈 제거 오토인코더를 훈련시는 방법을 제안한다. 이 방법은 기울기 기반 및 기울기 자유 최적화기 모두에서 계획 성능을 향상시켜 초도 학습 속도를 높이고 운동 제어 과제에서 샘플 효율성을 향상시킨다.

ABSTRACT

Trajectory optimization using a learned model of the environment is one of the core elements of model-based reinforcement learning. This procedure often suffers from exploiting inaccuracies of the learned model. We propose to regularize trajectory optimization by means of a denoising autoencoder that is trained on the same trajectories as the model of the environment. We show that the proposed regularization leads to improved planning with both gradient-based and gradient-free optimizers. We also demonstrate that using regularized trajectory optimization leads to rapid initial learning in a set of popular motor control tasks, which suggests that the proposed approach can be a useful tool for improving sample efficiency.

연구 동기 및 목표

• 모델 기반 강화 학습에서 학습된 환경 모델의 정확도 부족 문제를 해결하기 위해 궤적 최적화에 도전한다.
• 노이즈 제거 오토인코더를 통한 표현 학습을 활용해 계획의 안정성과 성능을 향상시킨다.
• 복잡한 운동 제어 환경에서의 초도 학습 단계에서 샘플 효율성을 향상시킨다.

제안 방법

• 환경에서 수집한 궤적을 기반으로 노이즈 제거 오토인코더를 훈련시어 강건한 저차원 표현을 학습한다.
• 학습된 인코더를 사용하여 궤적 최적화 과정을 정규화하고, 깨끗하고 재구성된 궤적의 다양체에서 벗어나지 않는 궤적을 방지하기 위해 펜alties를 적용한다.
• 기울기 기반 및 기울기 자유 최적화기 모두의 최적화 목표에 오토인코더의 재구성 손실을 정규화 항으로 통합한다.
• 전문가 또는 롤인 궤적의 동일한 데이터셋을 기반으로 환경 모델과 노이즈 제거 오토인코더를 함께 훈련시킨다.
• 정규화된 최적화를 적용하여 기반 데이터 분포와 일관되고 실행 가능한 제어 시퀀스를 생성한다.
• 표준 운동 제어 벤치마크에서 샘플 효율성과 계획 품질을 평가하기 위해 방법을 평가한다.

실험 결과

연구 질문

• RQ1 노이즈 제거 오토인코더는 모델 기반 강화 학습에서 궤적 최적화의 견고성을 향상시킬 수 있는가?
• RQ2 표현 학습을 통한 정규화는 초도 학습 단계에서 수렴 속도를 높이는가?
• RQ3 기울기 기반 및 기울기 자유 최적화기와 같은 다양한 최적화 철학에서 이 방법은 어떻게 성능을 발휘하는가?
• RQ4 이 방법은 연속 제어 과제에서 샘플 효율성을 얼마나 향상시키는가?

주요 결과

• 제안된 정규화는 모델 기반 강화 학습에서 기울기 기반 및 기울기 자유 최적화기 모두에서 계획 성능을 향상시킨다.
• 이 방법은 표준 운동 제어 과제에서 초도 학습 속도가 빨라져 샘플 효율성이 향상됨을 나타낸다.
• 정규화된 최적화로 생성된 궤적은 기반 데이터 다양체와 더 일관되며, 모델 정확도 부족의 영향을 줄인다.
• 노이즈 제거 오토인코더는 궤적 분포의 내재된 구조를 효과적으로 포착하여 계획 중 보다 우수한 일반화를 가능하게 한다.