[논문 리뷰] Actor-Critic for Linearly-Solvable Continuous MDP with Partially Known Dynamics

Tomoki Nishi, Prashant Doshi외 2명|arXiv (Cornell University)|2017. 06. 04.

Reinforcement Learning in Robotics참고 문헌 11인용 수 5

한 줄 요약

이 논문은 알려진 제어 동역학과 수동 전이 데이터를 활용하여 위험한 능동 탐색을 피하는 선형으로 해결 가능한 연속 MDP에 적합한 반응형 액터-크리틱(pAC)을 제안한다. 신경망을 사용해 실제 교통 데이터에서 고속도로 합류 시 97%의 성공률을 달성하며, 전체 모델 요구 사항이 감소한 점을 감안할 때 모델 기반 기준보다 뛰어난 성능을 보였다.

ABSTRACT

In many robotic applications, some aspects of the system dynamics can be modeled accurately while others are difficult to obtain or model. We present a novel reinforcement learning (RL) method for continuous state and action spaces that learns with partial knowledge of the system and without active exploration. It solves linearly-solvable Markov decision processes (L-MDPs), which are well suited for continuous state and action spaces, based on an actor-critic architecture. Compared to previous RL methods for L-MDPs and path integral methods which are model based, the actor-critic learning does not need a model of the uncontrolled dynamics and, importantly, transition noise levels; however, it requires knowing the control dynamics for the problem. We evaluate our method on two synthetic test problems, and one real-world problem in simulation and using real traffic data. Our experiments demonstrate improved learning and policy performance.

연구 동기 및 목표

• 실제 로봇 응용 분야에서 위험한 능동 탐색을 피하는 연속 MDP를 위한 강화학습 방법을 개발하기 위해.
• 전체 시스템 동역학 모델에 대한 의존도를 줄이기 위해 알려진 제어 동역학과 샘플링된 수동 전이 데이터만을 사용하기 위해.
• 특히 자율주행을 위해 부분적으로 알려진 동역학 설정에서 정책 학습의 효율성과 성능을 향상시키기 위해.
• 선형으로 해결 가능한 MDP에 특화된 액터-크리틱 프레임워크를 도입하여 이전의 모델 기반 방법보다 더 나은 정책 최적화를 가능하게 하기 위해.
• 합성 도메인과 실제 교통 데이터에서 방법을 평가하여 실용적 타당성을 입증하기 위해.

제안 방법

• pAC는 이중 단계의 액터-크리틱 아키텍처를 사용한다: 크리틱은 수동 전이 데이터와 선형화된 벨만 방정식을 사용하여 가치 함수를 추정한다.
• 액터는 추정된 Q-값과 가치 함수 간의 오차를 최소화함으로써 알려진 제어 동역학을 활용해 정책을 개선한다.
• 최적화 중 전이 노이즈 수준은 가치 함수와 행동-가치 함수 간의 이질성 최소화를 통해 추정된다.
• 값 함수의 함수 근사기로는 라디얼 기저 함수와 다층 신경망을 사용하였으며, 신경망이 더 뛰어난 성능을 보였다.
• 주변 차량 행동(수동 동역학)에서 수집된 데이터와 알려진 차량 제어 모델에 의존함으로써 능동 탐색을 피한다.
• 수동 동역학 하에서의 상태 전이 데이터는 실제 궤적 데이터에서 작용에 기인한 변화를 빼내어 재구성된다.

실험 결과

연구 질문

• RQ1 선형으로 해결 가능한 MDP를 위한 강화학습 방법이 시스템 동역학의 부분적 지식만으로도 높은 정책 성능을 달성할 수 있는가?
• RQ2 L-MDP 환경에서 액터-크리틱 아키텍처가 전체 동역학 모델이 필요한 모델 기반 방법보다 정책 학습을 더 잘 향상시키는가?
• RQ3 수동 동역학 데이터와 알려진 제어 동역학을 통해 능동 탐색 없이도 안전하고 효율적인 정책 학습이 가능한가?
• RQ4 Q-값 오차 최소화를 위한 액터 단계가 가치 함수 추정만으로의 성능 향상보다 얼마나 더 기여하는가?
• RQ5 실제 궤적 데이터를 사용해 실제 교통 환경, 예를 들어 고속도로 합류 시나리오로 일반화 가능한가?

주요 결과

• pAC는 신경망 함수 근사기를 사용해 시뮬레이션된 고속도로 합류에서 97%의 성공률을 달성하였으며, 동일한 아키텍처를 사용한 Z-학습보다 뚜렷이 뛰어난 성능을 보였다.
• 실제 NGSIM 교통 데이터에서 pAC는 신경망을 사용해 93%의 성공률을 기록하였으며, 더 적은 사전 지식에도 불구하고 Z-학습보다 뛰어난 성능을 보였다.
• 합성 및 실제 환경 평가에서 라디얼 기저 함수 대비 신경망을 함수 근사기로 사용함으로써 성능 향상이 상당히 향상되었다.
• pAC의 액터 단계는 Q-값 오차를 최소화하는 것으로, 데이터에서의 노이즈 수준 추정보다 성능 향상에 더 큰 기여를 하였다.
• 특히 전이 노이즈를 알려진 상태로 필요로 하지 않는 점을 감안할 때, pAC는 Z-학습과 같은 모델 기반 벤치마크와 유사하거나 더 뛰어난 성능을 보였으며, 더 적은 모델 사양 요구 조건을 갖추었다.
• 능동 탐색 없이도 실제 교통 환경에서 고품질의 정책을 성공적으로 학습함으로써, 자율주행 분야에 대한 실용적 적용 가능성을 입증하였다.