[논문 리뷰] Discovering Diverse Solutions in Deep Reinforcement Learning.

Takayuki Osa, Voot Tangkaratt외 1명|arXiv (Cornell University)|2021. 03. 12.

Reinforcement Learning in Robotics참고 문헌 32인용 수 7

한 줄 요약

이 논문은 주어진 작업을 위한 무한한 수의 다양한 해를 발견하기 위해 연속적 또는 이산적인 저차원 잠재 변수에 조건이 붙은 정책을 학습하는 딥 강화학습 방법을 제안한다. 데이터 효율적인 다양한 행동 학습을 가능하게 함으로써, 이 접근법은 새로운 보편적인 작업에 대해 강건한 소수의 샘플 적응을 지원하며, 연속 제어 환경에서 뛰어난 일반화 능력과 해의 다양성을 보여준다.

ABSTRACT

Reinforcement learning (RL) algorithms are typically limited to learning a single solution of a specified task, even though there often exists diverse solutions to a given task. Compared with learning a single solution, learning a set of diverse solutions is beneficial because diverse solutions enable robust few-shot adaptation and allow the user to select a preferred solution. Although previous studies have showed that diverse behaviors can be modeled with a policy conditioned on latent variables, an approach for modeling an infinite set of diverse solutions with continuous latent variables has not been investigated. In this study, we propose an RL method that can learn infinitely many solutions by training a policy conditioned on a continuous or discrete low-dimensional latent variable. Through continuous control tasks, we demonstrate that our method can learn diverse solutions in a data-efficient manner and that the solutions can be used for few-shot adaptation to solve unseen tasks.

연구 동기 및 목표

• 표준 강화학습 알고리즘이 한 번에 하나의 해만 학습하지만, 실제로는 여러 가지 타당한 행동이 존재하는 점을 고려하여 이에 대한 한계를 해결하기 위해.
• 딥 강화학습에서 연속적인 잠재 변수가 무한한 수의 다양한 해를 모델링할 수 있는지 탐색하기 위해.
• 새로운, 예측할 수 없는 작업에 빠르게 적응할 수 있도록 지원하는 데이터 효율적인 다양한 행동 학습을 가능하게 하기 위해.
• 사전에 정의된 행동 클러스터에 의존하지 않고도 확장 가능하고 일반화 가능한 다양한 정책을 발견하기 위한 방법을 개발하기 위해.

제안 방법

• 저차원의 연속적 또는 이산적 잠재 변수에 조건이 붙은 정책 네트워크를 사용하여 다양한 행동을 생성한다.
• 정책과 잠재 변수 분포를 동시에 학습하기 위해 변분 추론 프레임워크를 사용하며, 이는 학습된 행동의 다양성을 장려한다.
• 다양한 행동이 뿐만 아니라 임의의 작업을 효과적으로 해결할 수 있도록 보장하기 위해 보상 형상화 메커니즘을 사용한다.
• 잠재 공간을 통해 작업 성능과 행동 다양성의 균형을 이루는 정규화된 목표 함수를 최적화한다.
• 추론 중에 잠재 변수를 샘플링하여 필요에 따라 새로운 다양한 해를 생성한다.
• 이 방법은 MuJoCo 환경과 같은 연속 제어 벤치마크에서 평가되었으며, 확장성과 효율성을 입증했다.

실험 결과

연구 질문

• RQ1 연속적인 잠재 변수를 사용하여 딥 강화학습 알고리즘이 무한한 수의 다양한 해를 학습할 수 있는가?
• RQ2 기존 방법과 비교해 볼 때, 제안된 방법은 데이터 효율성과 해의 다양성 측면에서 어떻게 성능을 내는가?
• RQ3 학습된 다양한 정책이 새로운 작업에 대해 소수의 샘플로 얼마나 잘 적응할 수 있는가?
• RQ4 연속적인 잠재 변수의 사용이 이산적 또는 고정된 행동 사전에 비해 더 나은 일반화 능력과 더 다양한 행동을 제공하는가?

주요 결과

• 이 방법은 Ant 및 Half-Cheetah와 같은 연속 제어 환경에서 무한한 수의 다양한 해를 만족하는 행동을 성공적으로 학습했다.
• 행동의 다양성은 기준선 방법보다 크게 높았으며, 잠재 공간 전반에 걸쳐 정책 행동 간에 명확한 분리가 이루어졌다.
• 이 방법은 데이터 효율성을 확보하여 표준 강화학습 알고리즘보다 더 적은 환경 상호작용으로 수렴하였다.
• 학습된 정책는 새로운 작업에 대해 잘 일반화되어 있으며, 단순한 잠재 코드 샘플링을 통해 빠른 적응이 가능했다.
• 다양한 해를 사용할 경우 소수의 샘플 적응 성능이 크게 향상되었으며, 단일 정책 기반 기준선을 능가했다.
• 연속적인 잠재 변수의 사용은 해들 사이의 보다 부드럽고 해석 가능한 행동 보간을 가능하게 했다.