[논문 리뷰] Towards Vision-Based Deep Reinforcement Learning for Robotic Motion Control

Fangyi Zhang, Jürgen Leitner외 3명|arXiv (Cornell University)|2015. 11. 12.

Advanced Vision and Imaging참고 문헌 8인용 수 213

한 줄 요약

이 논문은 깊이 Q 네트워크(DQN)를 사용하여 로봇 만능기구가 관절 상태나 구성에 대한 사전 지식 없이도 원시 픽셀 입력만으로 목표 도달 작업을 학습할 수 있도록 시각 기반 딥 강화학습 시스템을 제안한다. 주요 발견은 시뮬레이션에서는 성공하고 실세계에서 합성 이미지를 사용할 때도 성공하지만, 실제 카메라 이미지를 사용할 경우 도메인 전이로 인해 실패한다는 점으로, 실세계 로봇 공학을 위한 시각 기반 DRL에서 도메인 적응 또는 강건성의 필요성을 부각시킨다.

ABSTRACT

This paper introduces a machine learning based system for controlling a robotic manipulator with visual perception only. The capability to autonomously learn robot controllers solely from raw-pixel images and without any prior knowledge of configuration is shown for the first time. We build upon the success of recent deep reinforcement learning and develop a system for learning target reaching with a three-joint robot manipulator using external visual observation. A Deep Q Network (DQN) was demonstrated to perform target reaching after training in simulation. Transferring the network to real hardware and real observation in a naive approach failed, but experiments show that the network works when replacing camera images with synthetic images.

연구 동기 및 목표

• 로봇 만능기구가 관절 상태나 구성에 대한 사전 지식 없이도 시각적 관찰만을 사용하여 목표 도달 기술을 자율적으로 학습할 수 있도록 하는 것.
• 딥 Q 네트워크(DQN)가 시뮬레이션 및 실세계 환경 모두에서 시각 기반 로봇 만능기구 제어에 적용 가능한지 탐구하는 것.
• 시뮬레이션에서 학습된 DQN 에이전트가 실세계 환경에서 실제 카메라 입력을 사용할 때 실패하는 원인을 규명하고 분석하는 것.
• 실시간 관절 상태에서 생성된 합성 이미지가 시각 기반 DRL에서 시뮬레이션에서 실세계로의 전이 갭을 메울 수 있는지 평가하는 것.
• 실세계 로봇 만능기구 제어를 위한 강건한 시각 기반 딥 강화학습의 과제와 향후 방향성 탐색

제안 방법

• 2차원 로봇 팔 시뮬레이터를 개발하여 단일 카메라에서의 원시 픽셀 관찰만을 사용하여 DQN 에이전트가 목표 도달을 학습하도록 하였다.
• 에이전트는 거리 기반 보상 함수를 사용하여 시뮬레이션에서 훈련되었으며, 탐색은 이psilon-그리디 정책을 통해 이루어졌다.
• ROS 기반 인터페이스를 구현하여 베이크서 로봇과 DQN 에이전트 간에 실시간으로 통신할 수 있도록 하였다. 이는 실시간 관절 각도 피드백을 포함한다.
• 실시간 관절 각도(S1, E1, W1)에서 유도된 합성 이미지를 생성하여 시뮬레이션 입력 분포를 일치시키고 도메인 전이를 줄였다.
• 동일한 훈련된 DQN 에이전트를 실제 실험에서 실제 카메라 이미지와 합성 이미지를 사용하여 평가하여 시각적 도메인 전이의 영향을 분리 분석하였다.
• 시뮬레이션과 실세계 설정 간의 이미지 차이가 실패의 주요 원인으로 분석되었으며, 잠재적 원인으로는 카메라 자세의 변동, 색상 왜곡, 형태의 일관성 부족 등이 포함된다.

실험 결과

연구 질문

• RQ1 로봇 구성이나 관절 상태에 대한 사전 지식 없이도 DQN 에이전트가 원시 시각 관찰만으로 목표 도달을 학습할 수 있는가?
• RQ2 시뮬레이션에서 훈련된 DQN 에이전트가 실제 카메라 이미지를 사용하여 실세계에 배포할 때 실패하는 이유는 무엇인가?
• RQ3 실시간 관절 상태에서 생성된 합성 이미지가 시각 기반 DRL에서 시뮬레이션에서 실세계로의 전이 갭을 메울 수 있는가?
• RQ4 실세계 배포 시 실패를 초래하는 주요 시각적 도메인 전이 요인(예: 이미지 왜곡, 카메라 자세의 차이 등)은 무엇인가?
• RQ5 향후 DRL 아키텍처는 실세계 로봇 제어에서 시각적 도메인 전이에 어떻게 강건하게 만들 수 있는가?

주요 결과

• DQN 에이전트는 원시 픽셀 입력과 거리 기반 보상 함수를 사용하여 시뮬레이션에서 일관된 성공률로 목표 도달을 학습하는 데 성공했다.
• 실세계에서 실제 카메라 이미지를 사용할 경우 동일한 에이전트는 성공률 0%를 기록하여 시뮬레이션에서의 일반화에 실패함을 보였다.
• 반대로 실시간 관절 각도에서 생성된 합성 이미지를 사용할 경우, 시뮬레이션과 동일한 성공률을 기록하였으며, 이는 실패 원인이 시각적 도메인 전이에 기인함을 확인하였다.
• 실패의 주요 원인은 시뮬레이션과 실세계 환경 간의 입력 이미지 차이로 밝혀졌으며, 카메라 자세의 변동, 색상 왜곡, 형태의 일관성 부족 등이 포함된다.
• 이 연구는 시각 기반 DRL에서 단순한 시뮬레이션에서 실세계로의 전이가 심지어 동일한 네트워크 아키텍처와 훈련 절차를 사용하더라도 실패할 수 있음을 입증하였다.
• 향후 연구는 도메인 전이를 줄이기 위한 조치(예: 더 높은 정밀도의 시뮬레이션 또는 이미지 전처리) 또는 시각적 도메인 갭에 대한 모델 강건성 향상에 집중해야 한다.