[논문 리뷰] Model-Based Planning with Discrete and Continuous Actions

Mikael Henaff, WILLIAM F. WHITNEY외 1명|arXiv (Cornell University)|2017. 05. 19.

Robotic Path Planning Algorithms참고 문헌 25인용 수 24

한 줄 요약

이 논문은 단순형 상에서 이산 동작을 재구성하고 전방 모델 훈련 중 입력 노이즈를 사용하여 이산 및 연속 동작 공간 모두에 대해 통합된 기울기 기반 계획 방법을 제안한다. 이는 이산 설정에서 효율적이고 미분 가능한 계획을 가능하게 하며 연속 제어와 원활하게 통합되며, 하이브리드 동작 공간 작업에서 모델 자유 강화학습보다 뛰어난 성능을 보이며 정책 정련을 통해 빠른 추론을 가능하게 한다.

ABSTRACT

Action planning using learned and differentiable forward models of the world is a general approach which has a number of desirable properties, including improved sample complexity over model-free RL methods, reuse of learned models across different tasks, and the ability to perform efficient gradient-based optimization in continuous action spaces. However, this approach does not apply straightforwardly when the action space is discrete. In this work, we show that it is in fact possible to effectively perform planning via backprop in discrete action spaces, using a simple paramaterization of the actions vectors on the simplex combined with input noise when training the forward model. Our experiments show that this approach can match or outperform model-free RL and discrete planning methods on gridworld navigation tasks in terms of performance and/or planning time while using limited environment interactions, and can additionally be used to perform model-based control in a challenging new task where the action space combines discrete and continuous actions. We furthermore propose a policy distillation approach which yields a fast policy network which can be used at inference time, removing the need for an iterative planning procedure.

연구 동기 및 목표

• 기존에 미분 최적화에 저항하는 이산 동작 공간에서 기울기 기반 계획을 가능하게 하기 위해.
• 단일 미분 가능한 프레임워크를 사용해 이산 및 연속 동작의 계획을 통합하기 위해.
• 고품질의 궤적을 빠르게 피드포워드 정책으로 정련하여 모델 기반 계획의 추론 시간을 줄이기 위해.
• 이동(연속)과 신호 전송(이산) 작업을 결합한 도전적인 하이브리드 동작 공간 환경에서 방법을 평가하기 위해.
• 복잡한 제어 작업에서 모델 자유 강화학습보다 샘플 효율성과 성능 향상을 입증하기 위해.

제안 방법

• 이산 동작을 단순형 상에서 확률 벡터로 재구성하여 기울기 계산을 가능하게 한다.
• 이산 동작의 기울기 안정성을 높이기 위해 전방 모델 훈련 중 입력 노이즈를 도입한다.
• 학습된 전방 모델을 통해 역전파를 사용해 기울기 하강법으로 동작 시퀀스를 최적화한다.
• 반복적인 기울기 기반 계획으로 생성된 고품질 궤적을 모방하도록 피드포워드 정책 네트워크를 훈련시킨다.
• 추가적인 환경 상호작용 없이 전방 모델에서 생성된 합성 궤적을 사용해 정책 정련을 수행한다.
• 단일 통합 계획 및 제어 프레임워크 내에서 연속 추진 제어와 이산 신호 전송 동작을 통합한다.

실험 결과

연구 질문

• RQ1 기울기 기반 계획이 기울기 가능하게 재구성된 이산 동작 공간에 효과적으로 적용될 수 있는가?
• RQ2 이산 동작 작업에서 기울기 기반 계획이 트리 탐색 및 모델 자유 강화학습보다 성능가 어떻게 비교되는가?
• RQ3 동일한 기울기 가능 프레임워크가 이산 및 연속 동작을 포함하는 하이브리드 동작 공간을 처리할 수 있는가?
• RQ4 정책 정련이 추론 시간을 크게 줄이고 계획 품질을 유지하는가?
• RQ5 복잡한 환경에서 최소한의 환경 상호작용으로 높은 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 Spaceship 작업에서 평균 보상 12.2를 기록했으며, A2C 기반 모델 자유 강화학습 기준선의 -19.2보다 뚜렷이 뛰어나다.
• GBP(기울기 기반 계획)는 보상 11.1을 기록했지만 추론에 0.19초가 소요되었고, DistGBP는 12.2의 보상과 0.01초의 추론 시간으로 19배의 속도 향상을 보였다.
• DistGBP 에이전트는 행 星의 중력장을 피하고 웨이포인트로 이동하며 올바른 색상 신호를 발신하는 것을 학습했으며, 이는 이산 및 연속 동작의 공동 최적화를 보여준다.
• 전방 모델는 랜덤 롤아웃 10,000편의 에피소드만으로 훈련되었으며, 높은 샘플 효율성을 보였다.
• 정책 정련을 통해 반복적 계획 없이도 빠른 추론이 가능해져 실시간 응용에 적합한 방법이 되었다.
• 그리드월드 내비게이션 작업에서 성능 및 계획 속도 면에서 강력한 기준선을 충족하거나 초월했다.