[논문 리뷰] Autonomous discovery of the goal space to learn a parameterized skill

Emilio Cartoni, Gianluca Baldassarre|arXiv (Cornell University)|2018. 05. 19.

Reinforcement Learning in Robotics참고 문헌 8인용 수 11

한 줄 요약

이 논문은 고차원 센서 공간(예: 카메라 이미지) 내에서 달성 가능한 목표의 다양체를 사전에 작업 공간에 대한 지식 없이 자율적으로 탐지하는 AGME 알고리즘을 제안한다. 발견된 목표들 간의 그래프를 구축하고, 새로운 목표를 발견할 잠재력이 높은 영역을 능동적으로 탐색함으로써, 센서 공간의 극히 소수의 영역에서만 달성 가능한 결과가 발생하는 환경에서도 효율적인 파arameterized 스킬 학습을 가능하게 하며, 기존의 스킬 놀이 기법보다 이미지 기반 환경에서 뛰어난 성능을 발휘한다.

ABSTRACT

A parameterized skill is a mapping from multiple goals/task parameters to the policy parameters to accomplish them. Existing works in the literature show how a parameterized skill can be learned given a task space that defines all the possible achievable goals. In this work, we focus on tasks defined in terms of final states (goals), and we face on the challenge where the agent aims to autonomously acquire a parameterized skill to manipulate an initially unknown environment. In this case, the task space is not known a priori and the agent has to autonomously discover it. The agent may posit as a task space its whole sensory space (i.e. the space of all possible sensor readings) as the achievable goals will certainly be a subset of this space. However, the space of achievable goals may be a very tiny subspace in relation to the whole sensory space, thus directly using the sensor space as task space exposes the agent to the curse of dimensionality and makes existing autonomous skill acquisition algorithms inefficient. In this work we present an algorithm that actively discovers the manifold of the achievable goals within the sensor space. We validate the algorithm by employing it in multiple different simulated scenarios where the agent actions achieve different types of goals: moving a redundant arm, pushing an object, and changing the color of an object.

연구 동기 및 목표

• 사전에 작업 공간에 대한 지식이 없는 환경에서 파arameterized 스킬의 자율적이고 개방형 학습을 가능하게 하기 위해.
• 카메라 이미지와 같은 고차원 센서 공간에서 달성 가능한 상태의 비율이 극히 낮은 상황에서 발생하는 차원의 극복 문제를 해결하기 위해.
• 사전에 작업 파aram터를 정의하거나 전체 센서 공간의 균일한 샘플링에 의존하지 않는 방법을 개발하기 위해.
• 기존에 알려진 목표들의 동적 그래프를 기반으로 유망한 센서 공간 영역에 집중하여 효과적인 탐색과 새로운 목표의 탐지 가능성을 높이기 위해.
• 엔지니어링된 목표 변수 없이도 원시 감각 입력(예: 이미지)을 목표 공간으로 사용하여 강력한 파arameterized 스킬 학습을 달성하기 위해.

제안 방법

• 알고리즘은 센서 공간 내에서 발견된 목표들의 그래프 표현을 구축하며, 노드는 달성된 결과를 나타내고, 간선은 그들 간의 근접도를 나타낸다.
• 탐색 중 회귀 모델에 의존하지 않도록 비모수적 접근법을 사용하여, 새로운 목표에 대한 정책을 검색하기 위해 k-최근접 이웃을 활용한다.
• 기존 목표에서의 거리 측정을 통해 미탐색 영역으로의 탐색을 유도하며, 새로운 유효한 목표를 발견할 잠재력이 높은 영역을 우선순위로 정한다.
• 전체 센서 공간에서의 샘플링을 피하기 위해, 기존 목표에서 출발하여 능동적인 탐색을 통해 외곽으로 확장한다.
• 달성 가능한 목표의 내재된 다양체 구조를 활용하여 고차원 공간의 흐릿함을 피하고 학습 효율성을 향상시킨다.
• 성능 평가에 거리 기반 성공 지표를 사용하여, 요청된 목표를 허용 오차 이내로 달성하는 빈도를 측정한다.

실험 결과

연구 질문

• RQ1 사전에 작업 공간에 대한 지식 없이도 고차원 센서 공간에서 달성 가능한 목표의 다양체를 자율적으로 탐지할 수 있는가?
• RQ2 달성 가능한 상태의 비율이 극히 낮은 센서 공간에서 탐색을 효율적으로 이끌 수 있는가?
• RQ3 사전 정의된 목표 변수 없이도 원시 감각 입력(예: 이미지)을 목표 공간으로 사용하여 파arameterized 스킬을 효과적으로 학습할 수 있는가?
• RQ4 이러한 방법이 스킬 놀이 기법과 비교해 이미지 기반 환경에서 탐색 효율성과 성공률 측면에서 어떻게 성능을 내는가?
• RQ5 이 알고리즘이 작업 특화 수정 없이 다양한 종류의 목표와 정책으로 일반화할 수 있는 정도는 어느 정도인가?

주요 결과

• AGME는 카메라 이미지와 같은 고차원 센서 공간에서 사전 작업 공간 지식 없이도 달성 가능한 목표의 다양체를 성공적으로 탐지하였다.
• 센서 공간이 매우 고차원(예: 320x240 이미지의 경우 80000개 이상의 차원)일지라도, 사전에 정의된 작업 특화 목표 공간을 사용한 경우와 유사한 성능을 달성하였다.
• 팔다리 조작, 물체 밀기, 색상 변경 작업을 포함한 실험에서, AGME는 기존의 스킬 놀이 기법보다 이미지 기반 설정에서 뛰어난 성능을 보였으며, 후자는 고차원 공간에서의 열악한 탐색으로 실패하였다.
• 전체 센서 공간을 샘플링하는 대신 달성 가능한 목표의 내재된 구조에 집중함으로써 차원의 극복 문제를 피하였다.
• AGME의 그래프 기반 탐색 전략은 잠재력이 높은 영역을 우선순위로 정함으로써 새로운 목표의 효과적인 탐지가 가능했으며, 비달성 가능한 상태에서의 낭비된 탐색을 줄였다.
• 비모수적 성격 덕분에 초기 학습 단계에서 정확도가 떨어지는 회귀 모델에 의존하지 않고 k-최근접 이웃을 활용해 정책을 검색할 수 있었다.