[논문 리뷰] Regularized Hierarchical Policies for Compositional Transfer in Robotics.

Markus Wulfmeier, Abbas Abdolmaleki외 8명|arXiv (Cornell University)|2019. 06. 26.

Reinforcement Learning in Robotics참고 문헌 23인용 수 14

한 줄 요약

이 논문은 공유되는 부분 정책을 통해 여러 로봇 작업 간에 효율적인 지식 전이를 가능하게 하는 정규화된 계층 정책을 제안한다. 계층적 구조를 위한 인덕티브 바이어스를 갖춘 새로운 강화학습 알고리즘을 사용하여, 기준선 대비 유의미하게 빠르고 데이터 효율적인 학습을 시뮬레이션 및 실제 로봇 실험 모두에서 달성한다.

ABSTRACT

The successful application of flexible, general learning algorithms -- such as deep reinforcement learning -- to real-world robotics applications is often limited by their poor data-efficiency. Domains with more than a single dominant task of interest encourage algorithms that share partial solutions across tasks to limit the required experiment time. We develop and investigate simple hierarchical inductive biases -- in the form of structured policies -- as a mechanism for knowledge transfer across tasks in reinforcement learning (RL). To leverage the power of these structured policies we design an RL algorithm that enables stable and fast learning. We demonstrate the success of our method both in simulated robot environments (using locomotion and manipulation domains) as well as real robot experiments, demonstrating substantially better data-efficiency than competitive baselines.

연구 동기 및 목표

• 실세계 로봇 응용 분야에서 딥 강화학습의 열악한 데이터 효율성 문제를 해결하기 위해.
• 구조화된 정책 계층을 통해 부분적인 해결책을 공유함으로써 여러 관련 작업 간 지식 전이를 가능하게 하기 위해.
• 계층적 인덕티브 바이어스를 효과적으로 활용할 수 있는 안정적이고 빠른 강화학습 알고리즘 설계를 위해.
• 이동 및 조작 작업을 위한 시뮬레이션 및 실제 로봇 환경에서의 성능 평가를 위해.

제안 방법

• 공유되는 하위 정책을 여러 작업 간에 학습하여 조합적 전이를 가능하게 하는 계층 정책 구조를 사용한다.
• 학습 안정성 향상과 작업 간 지식 효과적 공유를 유도하기 위해 정책 파라미터에 정규화 기법을 적용한다.
• 계층 정책의 안정적 훈련을 지원하도록 설계된 강화학습 알고리즘으로, 복잡한 환경에서도 빠른 수렴을 가능하게 한다.
• 아키텍처는 이중 수준 정책을 사용한다: 고수준 정책이 하위 정책을 선택하고, 저수준 정책이 작업에 특화된 행동을 실행한다.
• 일반화 및 관련 작업 간 전이를 촉진하기 위해 정책 네트워크에 구조화된 인덕티브 바이어스를 통합한다.

실험 결과

연구 질문

• RQ1 계층 정책 구조는 로봇 분야의 다중 작업 강화학습에서 데이터 효율성을 향상시킬 수 있는가?
• RQ2 공유되는 하위 정책는 다양한 이동 및 조작 작업 간에 지식을 얼마나 효과적으로 전이할 수 있는가?
• RQ3 제안된 정규화 기법은 계층 강화학습에서 학습 안정성과 학습 속도를 향상시키는가?
• RQ4 이 방법은 시뮬레이션 및 실제 환경 설정에서 비계층적 또는 비정규화된 기준선 대비 어느 정도 뛰어난 성능을 보이는가?

주요 결과

• 제안된 방법은 시뮬레이션 및 실제 로봇 환경 모두에서 경쟁 기준선 대비 뚜렷한 데이터 효율성 향상을 달성한다.
• 계층 정책 구조는 여러 작업 간 효과적인 지식 전이를 가능하게 하여 실험에 필요한 시간을 줄인다.
• 정규화 기법은 학습 안정성을 향상시키고 다중 작업 환경에서 공유되는 하위 정책의 성능을 향상시킨다.
• 이 방법은 시뮬레이션 및 실제 환경에서의 이동 및 조작 작업 전반에 걸쳐 뛰어난 일반화 능력과 빠른 학습 성능을 보여준다.