[논문 리뷰] Curiosity Driven Exploration of Learned Disentangled Goal Spaces

Adrien Laversanne-Finot, Alexandre Péré외 1명|arXiv (Cornell University)|2018. 07. 04.

Reinforcement Learning in Robotics참고 문헌 29인용 수 54

한 줄 요약

본 논문은 beta-VAE로 학습된 해리된 목표 공간이 호기심 주도 탐사를 향상시키고, 설계된 특징에 맞춘 모듈식 탐사를 가능하게 하며 독립적으로 제어 가능한 환경 특징을 식별하는 데 도움을 준다는 것을 보여준다.

ABSTRACT

Intrinsically motivated goal exploration processes enable agents to autonomously sample goals to explore efficiently complex environments with high-dimensional continuous actions. They have been applied successfully to real world robots to discover repertoires of policies producing a wide diversity of effects. Often these algorithms relied on engineered goal spaces but it was recently shown that one can use deep representation learning algorithms to learn an adequate goal space in simple environments. However, in the case of more complex environments containing multiple objects or distractors, an efficient exploration requires that the structure of the goal space reflects the one of the environment. In this paper we show that using a disentangled goal space leads to better exploration performances than an entangled goal space. We further show that when the representation is disentangled, one can leverage it by sampling goals that maximize learning progress in a modular manner. Finally, we show that the measure of learning progress, used to drive curiosity-driven exploration, can be used simultaneously to discover abstract independently controllable features of the environment.

연구 동기 및 목표

• 고차원 환경에서 제어 가능한 목표를 발견하기 위한 에이전트의 평생 학습을 동기부여한다.
• 학습된 해리된 표현이 IMGEP에서 탐색 효율을 향상시키는지 조사한다.
• 모듈식 탐색이 해리된 표현을 활용해 제어 가능한 객체에 집중하고 방해 요소를 무시하는지 검토한다.
• 학습 진행 신호가 추상적이며 독립적으로 제어 가능한 특징을 드러낼 수 있는지 평가한다.
• 해리된 표현이 수작업으로 설계된 목표 공간의 성능에 근접하는지 평가한다.

제안 방법

• 모듈식 목표 공간을 갖춘 Intrinsically Motivated Goal Exploration Processes (IMGEPs)을 사용한다.
• 수작업으로 설계된 목표 공간을 beta-VAEs 또는 VAEs에서 얻은 학습된 표현으로 대체한다.
• 잠재 변수로부터 목표 모듈을 형성하기 위해 Modular Unsupervised Goal-space Learning (MUGL)을 도입한다.
• 모듈을 잠재 변수의 부분집합으로 정의하고 모듈별로 목표를 샘플링하여 탐색을 유도한다.
• 가장 큰 능력 향상을 보이는 목표에 집중하기 위해 학습 진행 기반 모듈 샘플링 정책을 사용한다.
• 모듈식으로 학습된 표현을 무작위 매개변수 탐색 및 설계된 특징 기반의 기준선과 비교한다.

실험 결과

연구 질문

• RQ1 해리된 학습 목표 표현이 얽힌 표현이나 무작위 탐색에 비해 IMGEP의 탐색 효율을 향상시키는가?
• RQ2 학습된 목표 공간을 사용한 모듈식 탐색이 설계된 저차원 목표 공간의 성능에 비견할 수 있는가?
• RQ3 학습 진행 신호가 학습된 표현으로부터 독립적으로 제어 가능한 특징을 식별할 수 있는가?
• RQ4 탐색 중 해리화가 어떻게 방해 요인을 무시하도록 돕는가?

주요 결과

• 해리된 표현은 탐색 효율성을 향상시킨다; 해리된 beta-VAE 목표를 가진 IMGEP는 얽힌 표현을 가진 경우보다 더 적은 실험으로 더 많은 상태를 방문한다.
• 해리된 표현을 활용한 모듈식 탐색은 설계된 특징을 이용한 모듈식 탐색의 성능에 부합하거나 근접하지만, 얽힌 표현은 성능을 저해한다.
• 해리된 표현은 에이전트가 제어 가능한 특징(예: 공 위치)에 해당하는 모듈에 학습 진행을 집중하고 방해 요소를 무시하도록 한다.
• 모듈형 설정에서의 학습 진행 신호는 수동 표현 학습과 후속 능동 탐색에서 나타나는 추상적이고 독립적으로 제어 가능한 특징을 식별하는 데 도움이 된다.
• VAEs만으로는 해리화 없이 유사한 효율적인 탐색에 필요한 구조화된 잠재 공간을 제공하지 못한다.
• 이 접근법은 해리화와 모듈식 목표 공간이 고차원의 지각 환경에서 효율적이고 확장 가능한 탐색을 가능하게 함을 보여준다.