[논문 리뷰] Multi-Task Policy Search

Marc Peter Deisenroth, Péter Englert외 2명|arXiv (Cornell University)|2013. 07. 02.

Reinforcement Learning in Robotics참고 문헌 30인용 수 3

한 줄 요약

이 논문은 상태와 작업을 모두 파라미터로 포함하는 단일 비선형 피드백 정책을 학습하는 다중 작업 정책 탐색 프레임워크를 제안한다. 이는 로봇 분야에서 연속적인 작업 변화에 걸쳐 데이터 효율적으로 일반화할 수 있도록 한다. PILCO 프레임워크 내에서 작업 정보를 직접 정책 함수에 통합함으로써, 재학습 없이도 효과적인 전이와 일반화를 달성하며, 강화학습 및 모방학습 분야에서 실제 로봇 실험을 통해 성공적으로 검증되었다.

ABSTRACT

Learning policies that generalize across multiple tasks is an important and challenging research topic in reinforcement learning and robotics. Training individual policies for every single potential task is often impractical, especially for continuous task variations, requiring more principled approaches to share and transfer knowledge among similar tasks. We present a novel approach for learning a nonlinear feedback policy that generalizes across multiple tasks. The key idea is to define a parametrized policy as a function of both the state and the task, which allows learning a single policy that generalizes across multiple known and unknown tasks. Applications of our novel approach to reinforcement and imitation learning in real-robot experiments are shown.

연구 동기 및 목표

• 로봇 분야에서 관련된 연속적인 작업 집합에 걸쳐 일반화되는 정책을 학습하는 데 도전하는 것.
• 작업별로 특화된 정책에 대한 의존도를 줄이고, 물리적 상호작용에 드는 비용을 줄이기 위해 작업 간 지식 전이를 가능하게 하는 것.
• 재학습 없이도 새로운 작업에 일반화되는 데이터 효율적인 학습 방법을 개발하는 것.
• 일반화를 향상시키기 위해 작업 정보를 정책 파arameterization에 직접 통합하는 것.
• 실제 로봇 시스템에서 다중 작업 강화학습 및 모방학습으로 정책 탐색을 확장하는 것.

제안 방법

• 정책는 u = π(x, η, θ)로 파arameterization되며, 여기서 x는 상태, η는 작업, θ는 정책 파라미터이다. 이는 다수의 작업 간 통합 학습을 가능하게 한다.
• 이 방법은 장기 예측을 정확하고 데이터 효율적으로 수행하기 위해 가우시안 프로세스 모델을 사용하는 PILCO 프레임워크를 활용한다.
• 정책 파라미터는 확률적 최적화를 통해 최적화되며, 여러 작업에 걸쳐 예상 장기 비용을 최소화한다.
• 작업 표현 η는 정책의 입력으로 명시적으로 모델링되어, 알려지지 않은 관련 작업으로의 일반화를 가능하게 한다.
• 모방학습의 경우, 전문가의 경로와 정책에 의해 생성된 경로 간의 KL 발산을 최소화하며, 작업별 행동은 η에 의해 인코딩된다.
• 정책 파라미터와 작업 인식 동적 모델을 함께 최적화함으로써, 강화학습과 모방학습을 모두 지원한다.

실험 결과

연구 질문

• RQ1 재학습 없이도 단일 비선형 정책이 연속적인 관련 작업 집합에 걸쳐 일반화될 수 있는가?
• RQ2 작업 정보를 어떻게 효과적으로 정책에 통합하여 알려지지 않은 작업으로의 일반화를 향상시킬 수 있는가?
• RQ3 다중 작업 정책 학습이 모델 기반 강화학습 수준의 데이터 효율성을 달성하면서도 모델 불확실성을 고려할 수 있는가?
• RQ4 작업 보강 정책을 사용할 경우, 모방학습이 시연된 작업을 초월해 얼마나 잘 일반화되는가?
• RQ5 이러한 방법은 일반화 및 유연성 측면에서 계층적 또는 국소 정책 조합 접근 방식과 비교해 어떤가?

주요 결과

• 제안된 방법은 BioRob X4 로봇을 사용해 2차원 평면에서의 새로운 치기 작업에 단일 정책을 성공적으로 일반화하였으며, 테스트 위치 7×5 격자에서 오차가 0.08m 이내로 낮게 유지되었다.
• 카트폴 실험에서는 목표 위치가 연속적으로 변화하는 작업들 사이에서 정책이 매끄럽게 일반화되었으며, 선형 조합을 초월하는 비선형 일반화를 보였다.
• 블록 쌓기 실험에서는 여섯 가지 다른 블록에 대해 평균적으로 목표 지점과의 거리가 0.1m 이내로 유지되어 실제 조작 작업에서의 강건성과 일반화 능력을 입증하였다.
• 이 방법은 작업별 재학습이 필요로 하는 정도를 줄여, 알려지지 않은 작업에 대해 실시간으로 일반화된 정책를 구동할 수 있도록 하였다.
• 카트폴과 같은 비선형 작업에서는 국소 정책의 선형 조합이 비선형성으로 인해 실패하는 반면, 본 방법은 그보다 뛰어난 성능을 보였다.
• PILCO에 작업 인식 정책를 통합함으로써, BioRob X4에서 모방학습을 위한 계산 시간이 약 20분으로 매우 짧게 유지되어 데이터 효율적인 학습이 가능했다.