[논문 리뷰] Deep Reinforcement Learning for Dexterous Manipulation with Concept Networks

Aditya Gudimella, Ross Story외 5명|arXiv (Cornell University)|2017. 09. 20.

Reinforcement Learning in Robotics참고 문헌 19인용 수 15

한 줄 요약

이 논문은 복잡한 민감한 조작 작업을 재사용 가능하고 모듈화된 개념들—예를 들어, 쥐기, 들어 올리기, 쌓기—으로 분해하는 계층적 딥 강화학습 프레임워크인 개념 네트워크 강화학습(CNRL)을 소개한다. 각 개념은 간소화된 보상 함수를 사용해 독립적으로 훈련된다. MuJoCo에서의 로봇 프리즘 쌓기 작업에서, CNRL은 최신 기술 대비 환경 상호작용 수를 45배 감소시켰다.

ABSTRACT

Deep reinforcement learning yields great results for a large array of problems, but models are generally retrained anew for each new problem to be solved. Prior learning and knowledge are difficult to incorporate when training new models, requiring increasingly longer training as problems become more complex. This is especially problematic for problems with sparse rewards. We provide a solution to these problems by introducing Concept Network Reinforcement Learning (CNRL), a framework which allows us to decompose problems using a multi-level hierarchy. Concepts in a concept network are reusable, and flexible enough to encapsulate feature extractors, skills, or other concept networks. With this hierarchical learning approach, deep reinforcement learning can be used to solve complex tasks in a modular way, through problem decomposition. We demonstrate the strength of CNRL by training a model to grasp a rectangular prism and precisely stack it on top of a cube using a gripper on a Kinova JACO arm, simulated in MuJoCo. Our experiments show that our use of hierarchy results in a 45x reduction in environment interactions compared to the state-of-the-art on this task.

연구 동기 및 목표

• 고차원적이고 보상이 희박한 로봇 조작 작업에 대한 딥 강화학습의 샘플 비효율성 문제를 해결한다.
• 통합 정책 훈련의 한계를 극복하기 위해 문제를 재사용 가능하고 독립적으로 훈련된 하위개념으로 분해할 수 있도록 한다.
• 사전 훈련된 기술과 고전적 제어기의 플러그 앤 플레이 통합을 지원함으로써 산업용 로봇에서 정책의 빠른 구현과 적응을 가능하게 한다.
• 각 개념의 유효성 영역를 정의하고 결정 경로를 추적 가능하게 하여 훈련의 안정성, 설명 가능성, 안전성을 향상시킨다.
• 다른 작업 간에 하위작업 솔루션을 재사용하고 전이 학습을 효율적으로 수행하기 위해 재훈련 없이도 가능하게 한다.

제안 방법

• 잎 노드가 하위개념(예: 쥐기, 들어 올리기, 쌓기)을 나타내고 내부 노드가 상태에 따라 실행할 하위개념을 선택하는 트리 구조의 개념 네트워크를 도입한다.
• 각 개념이 하위작업에 맞는 집중적인 보상 함수를 사용해 독립적으로 훈련되도록 하여 탐색 복잡도를 감소시킨다.
• 각 개념을 블랙박스 컴포넌트로 간주함으로써 서로 다른 상태 공간과 훈련 알고리즘 간의 통합을 가능하게 하여 개념 재사용을 지원한다.
• 상태공간 변환과 확장을 통해 서로 다른 표현 방식으로 훈련된 하위개념을 정렬함으로써 재훈련 없이도 모듈화된 조합이 가능하게 한다.
• 상태 기반 실행 제한을 구현하여 개념이 훈련된 유효성 영역 내에서만 활성화되도록 하여 안전성과 신뢰성을 향상시킨다.
• 학습된 개념을 고전적 제어기(예: 역기구학)와 결합하여 정밀한 조작 작업에서 정밀도와 내성 강도를 향상시킨다.

실험 결과

연구 질문

• RQ1 복잡한 조작 작업을 재사용 가능하고 독립적으로 훈련된 하위개념으로 계층적으로 분해함으로써, 딥 강화학습의 샘플 복잡도를 크게 감소시킬 수 있는가?
• RQ2 재훈련 없이도 사전 훈련된 또는 고전적 제어기를 학습된 계층 정책 프레임워크에 원활하게 통합할 수 있는 정도는 어느 정도인가?
• RQ3 선택적 정책 라우팅 기능을 갖춘 개념 네트워크를 사용할 경우, 종단 간 훈련 대비 훈련 효율성과 수렴 속도는 어떻게 향상되는가?
• RQ4 계층적 구조가 결정 경로 추적 기능을 통해 활성화된 하위개념을 통해 결정 과정을 추적 가능하게 함으로써 정책의 설명 가능성과 배포 안전성을 향상시키는가?
• RQ5 정밀한 제어와 조율이 필요한 고차원적이고 보상이 희박한 로봇 조작 작업을 해결하는 데 이 프레임워크는 얼마나 효과적인가?

주요 결과

• CNRL은 MuJoCo에서 Kinova JACO 암을 사용하여 직육면체 프리즘을 큐브 위에 성공적으로 쌓는 데 성공하여, 복잡하고 정밀한 조작 작업에 대한 타당성을 입증했다.
• Popov 등(2017)의 최신 기술 대비 환경 상호작용 횟수를 45배 감소시켜 데이터 효율성을 크게 향상시켰다.
• 모델들은 16,000에서 25,000개의 환경 샘플 내에서 효과적인 정책로 수렴하여 집중적인 하위작업 학습 덕분에 빠르고 안정적인 훈련을 보였다.
• 각 하위개념(예: Orient, Lift, Stack)은 상태공간의 제약된 부분집합에 기반한 단순화된 보상 함수를 사용해 훈련되었으며, 이는 효율적인 탐색을 가능하게 했다.
• 상태공간 변환과 유효성 영역 제약 조건의 사용으로, 서로 다른 표현 방식으로 훈련된 하위개념을 재훈련 없이도 원활하게 통합할 수 있었다.
• 계층적 구조는 설명 가능한 행동을 가능하게 했으며, 결정 과정이 특정 활성화된 하위개념으로 추적 가능해져 시스템의 해석 가능성과 신뢰도를 향상시켰다.