[논문 리뷰] Disentangled Planning and Control in Vision Based Robotics via Reward Machines

Alberto Rivas, Jacob Varley외 3명|arXiv (Cornell University)|2020. 12. 28.

Computability, Logic, AI Algorithms참고 문헌 34인용 수 4

한 줄 요약

이 논문은 시각 기반 로봇 조작 작업에서 샘플 효율성과 정책 품질을 향상시키기 위해 보상 기반 강화 학습(DQRM)을 제안한다. 추상 상태 표현을 통해 계획과 제어를 분리하고, 보상 기계를 통한 조밀한 보상 형상화를 통해 DQRM은 뛰어난 성능을 달성한다—200개 이하의 배치 학습 스텝 내에 고품질 정책을 학습하며, 표준 DQN 및 하이브리드 기준보다 뛰어나다.

ABSTRACT

In this work we augment a Deep Q-Learning agent with a Reward Machine (DQRM) to increase speed of learning vision-based policies for robot tasks, and overcome some of the limitations of DQN that prevent it from converging to good-quality policies. A reward machine (RM) is a finite state machine that decomposes a task into a discrete planning graph and equips the agent with a reward function to guide it toward task completion. The reward machine can be used for both reward shaping, and informing the policy what abstract state it is currently at. An abstract state is a high level simplification of the current state, defined in terms of task relevant features. These two supervisory signals of reward shaping and knowledge of current abstract state coming from the reward machine complement each other and can both be used to improve policy performance as demonstrated on several vision based robotic pick and place tasks. Particularly for vision based robotics applications, it is often easier to build a reward machine than to try and get a policy to learn the task without this structure.

연구 동기 및 목표

• 시각 기반 로봇 작업에서 표준 딥 Q 네트워크(DQN)의 샘플 비효율성과 열악한 수렴성 문제를 해결하기 위해.
• 잠재 상태 특징 학습을 정책 학습에서 분리함으로써 학습 안정성과 성능 향상이 가능한지 조사하기 위해.
• 딥 강화 학습에서 추상 상태 감독과 조밀한 보상 형상화를 조합할 경우의 효과성을 평가하기 위해.
• 전문가의 시연로부터 보상 기계를 구성하여 정책 학습을 부트스트랩할 수 있는지 보여주기 위해.
• 관찰에서 중복되더라도 추상 상태 표현이 DQN이 효과적인 정책을 학습하는 데 핵심적인 역할을 하는지 보여주기 위해.

제안 방법

• 작업의 구조를 추상 상태와 전이 기반 조밀한 보상으로 모델링하는 유한 상태 기계인 보상 기계(RM)를 도입한다.
• 작업에 관련된 상태 특징(예: 블록 위치, 그립퍼 상태 등)을 추출하기 위해 수작업으로 설계된 특징 검출기를 사용하여 추상 상태를 정의한다.
• 전문가의 시연로부터 RM을 구성하여 Q-값이 안정적인 딥 러닝을 위해 항상 0 근처에 유지되도록 한다.
• DQN에 일항 인코딩된 추상 상태 입력과 RM에서 유도된 조밀한 보상 함수를 추가하여 탐색을 안내한다.
• 원시 관측값을 추상 상태로 분류하기 위해 ResNet 기반 인코더를 사용하여 추상 상태 감독을 통한 엔드 투 엔드 학습을 가능하게 한다.
• 시연 데이터를 오프-폴리시 리プレイ 버퍼와 결합하여 DQRM이 전문가 데이터를 활용해 더 빠른 수렴을 이룰 수 있도록 한다.

실험 결과

연구 질문

• RQ1 추상 상태 표현은 시각 기반 로봇 작업에서 DQN의 샘플 효율성과 최종 정책 품질을 크게 향상시킬 수 있는가?
• RQ2 추상 상태 감독과 조밀한 보상 형상화를 조합하면 단독으로 사용할 경우보다 더 나은 성능을 내는가?
• RQ3 소수의 전문가 시연로부터 효과적으로 보상 기계를 구성하여 DQN 학습을 안내할 수 있는가?
• RQ4 추상 상태의 성능 향상 효과는 작업의 시간 길이(예: 단기 vs. 장기 작업)에 따라 달라지는가?
• RQ5 DQRM 프레임워크는 높은 정책 성공률에 도달하기 위해 필요한 학습 스텝 수를 얼마나 줄이는가?

주요 결과

• 표준 DQN은 추상 상태 정보가 관측값에 포함되어 있음에도 불구하고, 단순한 시각 기반 픽업 및 플레이스 작업에서 양호한 정책을 학습하지 못했다.
• DQRM은 100개의 시범만으로 500개의 시범을 사용한 DQN과 유사한 성공률를 달성하여 뛰어난 데이터 효율성을 보였다.
• DQRM는 200개 이하의 배치 학습 스텝 내에 만족스러운 성공률에 도달했고, 보상 형상화만 적용된 DQN은 수렴하기까지 1,500개의 스텝이 소요되었다.
• DQRM에서 추상 상태와 조밀한 보상 형상화의 조합은 단독으로 사용할 경우보다 더 안정적이고 고성능의 정책을 도출했다.
• 추상 상태 감독은 DQN(AS)가 성능 향상을 이루지 못한 장기 작업(예: 6단계의 킷팅 작업)에서 특히 효과적이었다.
• ResNet 기반 분류기는 원시 관측값을 추상 상태로 성공적으로 매핑하여, 추상 상태 인식이 실질적으로 가능하고 간단함을 확인했다.