[논문 리뷰] Offline Learning of Counterfactual Perception as Prediction for Real-World Robotic Reinforcement Learning.

Jun Jin, Daniel Graves외 3명|arXiv (Cornell University)|2020. 11. 11.

Embodied and Extended Cognition참고 문헌 52인용 수 9

한 줄 요약

이 논문은 '내가 이 행동을 계속했을 경우 어떻게 될까?'에 대한 대체적 시각 예측을 오프라인으로 학습함으로써, 효율적인 실세계 로봇 강화학습을 가능하게 한다. 이러한 예측을 희소한 종료 보상과 온라인 센서 피드백과 조합함으로써, 수작업으로 설계된 인식 또는 校정이 필요 없이 높은 샘플 효율성을 달성한 다수의 조작 작업을 수행한다.

ABSTRACT

We propose a method for offline learning of counterfactual predictions to address real world robotic reinforcement learning challenges. The proposed method encodes action-oriented visual observations as several what questions learned offline from prior experience using reinforcement learning methods. These what questions counterfactually predict how action-conditioned observation would evolve on multiple temporal scales if the agent were to stick to its current action. We show that combining these offline counterfactual predictions along with online in-situ observations (e.g. force feedback) allows efficient policy learning with only a sparse terminal (success/failure) reward. We argue that the learned predictions form an effective representation of the visual task, and guide the online exploration towards high-potential success interactions (e.g. contact-rich regions). Experiments were conducted in both simulation and real-world scenarios for evaluation. Our results demonstrate that it is practical to train a reinforcement learning agent to perform real-world fine manipulation in about half a day, without hand engineered perception systems or calibrated instrumentation. Recordings of the real robot training can be found via this https URL.

연구 동기 및 목표

• 희소한 종료 보상으로 인한 샘플 비효율성 문제를 해결한다.
• 교정된 장비나 수작업으로 설계된 인식 시스템에 의존하지 않고 실세계 환경에서 효율적인 온라인 정책 학습을 가능하게 한다.
• 오프라인 경험에서 유도된 대체적 추론을 통해 작업 동역학의 구조적 시각 표현을 학습한다.
• 오프라인 예측을 활용해 고성능 상호작용 영역(예: 접촉이 많은 영역)으로의 온라인 탐색을 안내한다.

제안 방법

• 다중 시간 척도에서 행동 지속성 하에 미래 시각 관측을 예측함으로써 '내가 이 행동을 계속했을 경우 어떻게 될까?'에 대한 질문에 답할 수 있는 시각 기반 모델을 훈련한다.
• 이전 경험에 기반해 오프라인 강화학습을 통해 모델을 사전 훈련함으로써, 행동 조건 관측에서 대체적 예측을 생성하도록 학습한다.
• 에이전트의 시각 상태를 실행하지 않고도 행동 궤적을 시뮬레이션할 수 있는 학습된 '무엇' 질문의 집합으로 표현한다.
• 온라인 현장 관측(예: 힘 피드백)과 오프라인 대체적 예측을 통합하여 실시간 정책 업데이트를 안내한다.
• 대체적 예측과 희소한 종료 보상을 조합하여 정책 기울기의 형태를 조정하고 샘플 효율성을 향상시킨다.
• 예측된 시각적 동역학을 사전 지식으로 활용하여, 행동이 작업 성공으로 이어질 가능성이 높은 영역으로 탐색을 집중시킨다.

실험 결과

연구 질문

• RQ1 오프라인 대체적 예측이 실세계 로봇 강화학습의 샘플 효율성을 향상시키는가?
• RQ2 대체적 예측이 복잡한 조작 작업에서 수작업으로 설계된 인식 시스템을 얼마나 대체할 수 있는가?
• RQ3 희소한 종료 보상만으로 오프라인 예측과 온라인 센서 피드백의 조합이 탐색을 얼마나 효과적으로 안내하는가?
• RQ4 교정된 센서나 작업 전용 기능 엔지니어링 없이도 이 방법이 실세계 조작 작업에 일반화 가능한가?

주요 결과

• 희소한 종료 보상만을 사용하여 약 반나절의 훈련으로도 실세계 로봇 조작 작업을 성공적으로 수행할 수 있다.
• 오프라인 대체적 예측은 높은 잠재력이 있는 상호작용 영역으로의 탐색을 안내함으로써 샘플 효율성을 크게 향상시킨다.
• 수작업으로 설계된 인식 시스템이나 교정된 장비 없이도 효과적인 정책 학습이 가능하다.
• 시뮬레이션 및 실세계 환경에서의 실험을 통해 이 방법이 접촉이 많은 조작 작업에서 실용성과 강건성을 입증한다.