[논문 리뷰] Learning Parameterized Skills

Bruno da Silva, George Konidaris외 1명|arXiv (Cornell University)|2012. 06. 27.

Reinforcement Learning in Robotics참고 문헌 15인용 수 71

한 줄 요약

이 논문은 관련된 작업들의 분포에서 정책 파라미터의 다양체(manifold)를 모델링하여, 파arameterized 스킬을 학습하는 방법을 제안한다. 작업 인스턴스를 샘플링하고, 기저의 저차원 다양체 구조를 추정하며, 다양체의 각 차트에 비선형 회귀를 적용함으로써, 작업 파라미터에서 최적의 정책 파라미터를 예측할 수 있는 일반화 가능한 스킬을 구성한다. 이 방법은 최소한의 훈련 데이터로도 시뮬레이션에서 정확한 다트 던지기 성능을 달성한다.

ABSTRACT

We introduce a method for constructing skills capable of solving tasks drawn from a distribution of parameterized reinforcement learning problems. The method draws example tasks from a distribution of interest and uses the corresponding learned policies to estimate the topology of the lower-dimensional piecewise-smooth manifold on which the skill policies lie. This manifold models how policy parameters change as task parameters vary. The method identifies the number of charts that compose the manifold and then applies non-linear regression in each chart to construct a parameterized skill by predicting policy parameters from task parameters. We evaluate our method on an underactuated simulated robotic arm tasked with learning to accurately throw darts at a parameterized target location.

연구 동기 및 목표

• 다양한 관련 강화학습 작업에 대해 재사용 가능하고 일반적인 목적의 스킬을 학습하는 데 도전한다.
• 모든 가능한 작업 변형에 대해 별도의 정책을 훈련하는 것이 불가능한 문제를 해결한다.
• 낮은 차원의 조각별로 부드러운 다양체를 사용하여 정책 파라미터가 작업 파라미터와 부드럽게 변하는 방식을 모델링한다.
• 정책 공간의 위상 구조를 학습하여, 새로운 작업 파라미터에 일반화할 수 있는 파arameterized 스킬을 구성한다.
• 재훈련 없이도 연속적인 작업 설정 범위에 걸쳐 효율적인 스킬 이식과 적응을 가능하게 한다.

제안 방법

• 분포 P(τ)에서 작업 인스턴스의 집합을 샘플링하고, 각각에 대응하는 최적의 정책 θτ를 확보한다.
• 학습된 정책들이 포함된, 정책 파라미터 공간(R^N)에 임bed된 저차원의 조각별로 부드러운 다양체를 추정한다.
• 다양체를 표현하기 위해 필요한 차트(로컬 좌표 조각)의 수를 식별하여, 질적으로 다른 전략을 포착한다.
• 각 차트 내에서 비선형 회귀를 적용하여 작업 파라미터 τ에서 정책 파라미터 θ = Θ(τ)로의 매핑을 학습한다.
• 결과로 얻어진 파arameterized 스킬 Θ(τ)을 사용해 새로운, 미리보지 않은 작업 파라미터에 대응하는 정책을 선택한다.
• 작업 파라미터에 따라 정책이 부드럽게 변하는 특성을 활용하여, 특히 고차원 제어 작업에서 훈련 인스턴스를 초월한 일반화를 달성한다.

실험 결과

연구 질문

• RQ1 어떻게 관련된 강화학습 작업의 분포에 걸쳐 일반화 가능한 파arameterized 스킬을 학습할 수 있는가?
• RQ2 일련의 관련 작업에 대해 최적의 정책 공간의 내재 기하학적 구조는 무엇인가?
• RQ3 학습된 정책 다양체를 표현하기 위해 필요한 질적으로 다른 전략(차트)의 수를 자동으로 식별할 수 있는가?
• RQ4 제한된 훈련 데이터로 작업 파라미터와 정책 파라미터 사이의 비선형 관계를 효과적으로 모델링할 수 있는가?
• RQ5 이 방법은 훈련 중에 볼 수 없었던 새로운 작업 파라미터로까지 얼마나 잘 일반화되는가?

주요 결과

• 이 방법은 시뮬레이션된 언더액티브 로봇 팔 환경에서 연속적인 작업 파라미터 범위에 걸쳐 일반화 가능한 파arameterized 스킬을 성공적으로 학습하였다.
• 정책 다양체 상에서 정확한 차트 수(로컬 영역)를 식별하여, 질적으로 다른 전략을 탐지할 수 있음을 나타낸다.
• 각 차트 내에서의 비선형 회귀는 새로운 조합에 대해서도 정책 파라미터를 정확하게 예측할 수 있도록 한다.
• 파arameterized 스킬은 다양한 목표 위치에서 다트 던지기 작업에서 높은 정확도를 달성하여, 훈련 인스턴스를 초월한 효과적인 일반화를 입증한다.
• 이 방법은 작업 파라미터에서 정책 파라미터로의 압축되고 일반화 가능한 매핑을 학습함으로써, 포괄적인 재훈련의 필요성을 줄인다.
• 프레임워크는 로컬 정책 탐색 방법에서 유도된 정책 업데이트를 다양체 상의 추가 훈련 샘플로 재사용함으로써, 오프-폴리시 학습을 지원한다.