[논문 리뷰] 3D Simulation for Robot Arm Control with Deep Q-Learning

Stephen James, Edward Johns|arXiv (Cornell University)|2016. 09. 13.

Reinforcement Learning in Robotics참고 문헌 20인용 수 68

한 줄 요약

이 논문은 3차원 시뮬레이션 환경에서 깊이 강화학습을 사용하여 7-DOF 로봇 암 컨트롤러를 훈련시키며, 에이전트는 시각 입력과 구조화된 보상 함수만을 사용하여 큐브를 抓기 학습한다. 주요 기여는 시뮬레이션된 정책을 실제 로봇으로 직접 전이하여, 실제 세계에서의 정밀 조정 없이도 종단 간 뷰 기반 제어의 가능성을 입증한 것이다.

ABSTRACT

Recent trends in robot arm control have seen a shift towards end-to-end solutions, using deep reinforcement learning to learn a controller directly from raw sensor data, rather than relying on a hand-crafted, modular pipeline. However, the high dimensionality of the state space often means that it is impractical to generate sufficient training data with real-world experiments. As an alternative solution, we propose to learn a robot controller in simulation, with the potential of then transferring this to a real robot. Building upon the recent success of deep Q-networks, we present an approach which uses 3D simulations to train a 7-DOF robotic arm in a control task without any prior knowledge. The controller accepts images of the environment as its only input, and outputs motor actions for the task of locating and grasping a cube, over a range of initial configurations. To encourage efficient learning, a structured reward function is designed with intermediate rewards. We also present preliminary results in direct transfer of policies over to a real robot, without any further training.

연구 동기 및 목표

• 원시 시각 관측치를 사용하여 수동으로 설계된 모듈러 파이프라인을 피하는 종단 간 강화학습 기반 로봇 암 제어 방법을 개발하기 위해.
• 로봇 제어에서 고차원 상태 및 행동 공간의 과제를 해결하기 위해 확장 가능한 3차원 시뮬레이션을 활용하여 훈련하는 것을 목적으로 한다.
• 실제 세계 로봇 하드웨어로의 직접 정책 전이 가능성을 평가하기 위해.
• 복잡한 조작 작업에서 학습을 가속화하기 위해 중간 보상이 포함된 구조화된 보상 함수를 설계하기 위해.

제안 방법

• 이 방법은 3차원 시뮬레이션에서 얻은 원시 RGB 이미지를 7-DOF 로봇 암의 모터 동작으로 매핑하는 딥 Q네트워크(DQN)를 사용한다.
• 에이전트는 큐브에 접근, 그를 抓기, 테이블에서 들어올리는 것에 대해 중간 보상을 제공하는 보상 함수를 사용하여 훈련된다.
• 학습은 경험 재생과 타겟 네트워크를 사용하여 안정화되며, 표준 DQN 알고리즘에 따라 경험 재생 및 타겟 네트워크 업데이트를 수행한다.
• 시뮬레이션 환경은 로봇과 큐브의 현실적인 이미지를 렲출하며, 일반화 능력을 향상시키기 위해 랜덤화된 초기 관절 각도와 큐브 위치를 사용한다.
• 정책은 추가적인 실제 세계 훈련 없이도 실제 로봇에 직접 구현되며, 고정된 탐색 비율(ε = 0.1)을 사용한다.
• 훈련된 네트워크의 특징 맵 활성화를 시뮬레이션과 실제 세계 간 비교하여 시각 유사성과 전이 가능성을 평가한다.

실험 결과

연구 질문

• RQ1 딥 Q네트워크는 사전 지식이나 수동으로 설계된 모듈 없이 시뮬레이션 내에서 완전히 시각 기반 로봇 암 제어 정책을 학습할 수 있는가?
• RQ2 중간 보상을 포함한 구조화된 보상 함수는 3차원 로봇 조작 작업에서 학습 효율을 뚜렷이 향상시키는가?
• RQ3 시뮬레이션에서 훈련된 정책은 추가적인 실제 세계 보정 없이도 실제 세계 로봇으로 성공적으로 전이될 수 있는가?
• RQ4 훈련된 네트워크에서 시뮬레이션과 실제 세계의 시각 입력 간 특징 맵 활성화는 어떻게 비교되며, 이는 전이 가능성에 어떤 시사점을 제공하는가?

주요 결과

• 고정된 초기 조건(환경 A) 대비 랜덤화된 초기 조건(환경 B)을 사용한 훈련 시 성공률이 2%에서 52%로 증가하여 일반화의 중요성을 입증했다.
• 실제 로봇에서 50개의 테스트 에피소드 동안 정책을 직접 전이했을 때 52%의 성공률을 기록하여 제로샷 전이의 부분적인 성공을 보였다.
• 실제 세계에서 그립퍼가 큐브 쪽으로 이동하는 데 성공했지만, 그립퍼를 안정적으로 닫는 데 실패하여 이진 동작 전이의 과제를 시사했다.
• 큐브가 이미 그립퍼 안에 들어와 있는 상태로 초기화했을 때 에이전트는 큐브를 들어내는 데 성공적으로 작업을 완료하여 정책이 작업의 최종 단계를 수행할 수 있음을 확인했다.
• 특징 맵 활성화의 시각적 비교에서 시뮬레이션과 실제 세계 입력 간 강한 유사성이 나타나 시각 도메인 전이의 가능성을 뒷받침했다.
• 학습된 가치 함수는 시간이 지남에 따라 의미 있는 변화를 보였으며, 큐브에 접근하고 그를 抓는 순간 Q-값이 점진적으로 증가함으로써 효과적인 정책 학습을 확인했다.