[논문 리뷰] Composable Action-Conditioned Predictors: Flexible Off-Policy Learning for Robot Navigation

Gregory Kahn, Adam Villaflor외 2명|arXiv (Cornell University)|2018. 10. 16.

Reinforcement Learning in Robotics참고 문헌 14인용 수 10

한 줄 요약

이 논문은 자기 수집한 비정책 데이터에서 시각 검출기들을 자동 레이블로 사용하여 충돌, 속도, 차선 위치 및 문 위치와 같은 다수의 이벤트 신호를 예측할 수 있는 Composable Action-Conditioned Predictors (CAPs)라는 프레임워크를 제안한다. 이러한 이벤트 신호에 대해 행동 조건 예측 모델을 훈련시음으로써, 재훈련 없이도 테스트 시에 태스크를 유연하게 조합할 수 있으며, RC 차량을 활용한 실제 환경에서 충돌 회피, 방향 제어, 문 접근과 같은 다양한 목표를 성공적으로 달성한다.

ABSTRACT

A general-purpose intelligent robot must be able to learn autonomously and be able to accomplish multiple tasks in order to be deployed in the real world. However, standard reinforcement learning approaches learn separate task-specific policies and assume the reward function for each task is known a priori. We propose a framework that learns event cues from off-policy data, and can flexibly combine these event cues at test time to accomplish different tasks. These event cue labels are not assumed to be known a priori, but are instead labeled using learned models, such as computer vision detectors, and then `backed up' in time using an action-conditioned predictive model. We show that a simulated robotic car and a real-world RC car can gather data and train fully autonomously without any human-provided labels beyond those needed to train the detectors, and then at test-time be able to accomplish a variety of different tasks. Videos of the experiments and code can be found at https://github.com/gkahn13/CAPs

연구 동기 및 목표

• 각 태스크에 대해 사전에 정의된 수동으로 코딩된 보상 함수에 의존하지 않고도 일반 목적의 로봇 학습을 가능하게 하기 위해.
• 인간이 제공한 레이블이 시각 검출기 훈련 데이터 외에는 없더라도, 비정책 데이터를 자율적으로 수집함으로써 자율 학습을 가능하게 하기 위해.
• 학습된 이벤트 예측기들을 재조합하여 테스트 시에 태스크를 민첩하게 조합할 수 있도록 지원하기 위해.
• 컴퓨터 비전 검출기를 이벤트 신호의 자동 레이블로 통합하여, 종단 간 자율적 기술 습득을 가능하게 하기 위해.
• 테스트 시에 보상 함수만 변경함으로써 단일 정책이 다수의 주행 태스크를 수행할 수 있음을 입증하기 위해.

제안 방법

• 로봇이 실제 환경이나 시뮬레이션 환경에서 자율적으로 수집한 비정책 데이터를 활용한다.
• 차선, 문 등의 시각 검출기들을 사용하여 데이터 내 이벤트 신호를 자동으로 레이블링함으로써 인간의 레이블링된 보상이 필요 없도록 한다.
• 현재 관측치와 행동을 입력으로 받아 미래의 이벤트 상태를 예측하는 행동 조건 예측 모델(CAPs)을 훈련시킨다.
• 단일 관측-행동 쌍으로부터 다중 이벤트 신호를 동시에 예측할 수 있도록 다중 헤드 신경망 아키텍처를 사용한다.
• 모든 이벤트 신호의 예측 오차를 통합하는 미분 가능한 손실 함수를 사용하여 딥러닝을 통한 공동 훈련을 가능하게 한다.
• 테스트 시점에 예측된 이벤트 신호로부터 태스크별 보상 함수를 조합하고, 이를 이용해 계획 또는 온라인 최적화를 통해 행동을 선택한다.

실험 결과

연구 질문

• RQ1 로봇은 인간이 제공한 보상 없이도 비정책, 자율 수집 데이터에서 다수의 이벤트 신호를 예측할 수 있는가?
• RQ2 학습된 이벤트 예측기들이 재훈련 없이도 테스트 시에 민감하게 재조합되어 다양한 주행 태스크를 달성할 수 있는가?
• RQ3 시각 검출기를 자동 레이블로 사용하여 제어 정책의 완전 자율적 학습을 가능하게 할 수 있는가?
• RQ4 테스트 시에 보상 함수만 변경할 경우, 이 프레임워크가 새로운 태스크로 얼마나 잘 일반화되는가?
• RQ5 동일한 CAPs 모델이 충돌 회피와 목표 향한 주행(예: 문 향해 이동)을 동일한 기반 예측기로 동시에 학습할 수 있는가?

주요 결과

• CAPs 프레임워크는 실제 RC 차량을 75m 순환 주행 환경에서 충돌 회피만 훈련시킨 상태에서도 100% 루트 완주율과 100% 충돌 방지 성능을 달성했다.
• 문에 도달하는 태스크가 주어졌을 때, 동일한 CAPs 모델은 루프 완주 성공률 80%를 기록했으며, 보상 함수에 도어 보상 항목이 포함된 경우 17% 더 많은 문을 인식했다.
• 다중 목표를 통합했을 때 GC-DQL은 루프를 완주하지 못했고, 100%의 실패율을 기록했다.
• 동일한 CAPs 모델을 사용하여 충돌 회피, 방향 제어, 문 접근과 같은 다양한 태스크를 테스트 시 보상 함수만 변경함으로써 성공적으로 수행할 수 있었으며, 진정으로의 조합 가능성(composability)을 입증했다.
• 모델은 방향, 속도, 문 존재 여부 등의 이벤트 신호를 높은 정확도로 예측하여 복잡한 행동에 대한 효과적인 계획 수단을 제공했다.
• 충돌 회피, 방향 제어, 문 접근을 포함하는 다중 목표 태스크에서 98%의 루트 완주율과 80%의 성공률을 기록했으며, 최고 성능 설정에서는 충돌률이 0%였다.