[논문 리뷰] Adaptive Skills, Adaptive Partitions (ASAP)

Daniel J. Mankowitz, Timothy Mann외 1명|arXiv (Cornell University)|2016. 02. 10.

Reinforcement Learning in Robotics참고 문헌 27인용 수 22

한 줄 요약

ASAP는 연속 상태 공간에서 스킬과 그 최적의 적용 정책(스킬 간 정책)을 함께 학습하는 통합 프레임워크를 제안한다. 적응형 초평면 분할을 통해 자동으로 스킬 재사용과 다중 작업 일반화를 가능하게 하며, 국소 최적점으로 수렴하고 표본 복잡도를 크게 감소시킨다.

ABSTRACT

We introduce the Adaptive Skills, Adaptive Partitions (ASAP) framework that (1) learns skills (i.e., temporally extended actions or options) as well as (2) where to apply them. We believe that both (1) and (2) are necessary for a truly general skill learning framework, which is a key building block needed to scale up to lifelong learning agents. The ASAP framework can also solve related new tasks simply by adapting where it applies its existing learned skills. We prove that ASAP converges to a local optimum under natural conditions. Finally, our experimental results, which include a RoboCup domain, demonstrate the ability of ASAP to learn where to reuse skills as well as solve multiple tasks with considerably less experience than solving each task from scratch.

연구 동기 및 목표

• 스킬과 그 적용 위치를 동시에 학습하는 일반적인 스킬 학습 프레임워크의 필요성을 해결한다.
• 상태 공간의 다양한 영역과 다중 작업 간에 스킬의 자동 조합 및 재사용을 가능하게 한다.
• 스킬 세트와 스킬 간 정책의 부적절한 모델 사양을 공동 최적화를 통해 수정한다.
• 학습 과정에 자연스러운 조건 하에서 이론적 수렴 보장을 제공한다.
• 특히 RoboCup과 같은 복잡한 환경에서 연속 상태 MDP에서의 확장성과 효율성을 입증한다.

제안 방법

• 스킬 정책과 스킬 분할 초평면의 공동 기울기 업데이트를 가능하게 하기 위해 일반화된 궤적 프레임워크를 사용하여 문제를 수식화한다.
• 스킬이 적용되는 상태 공간 내 영역을 정의하는 매개변수화된 초평면(선형 또는 다항식)을 통해 스킬 분할을 표현한다.
• 스킬 내 정책(스킬 내 행동)과 스킬 간 정책(실행할 스킬 선택)을 공동으로 최적화하기 위해 정책 기반 기울기 방법을 사용한다.
• 학습된 스킬 세트와 분할을 베이지안 유사 저장 방식으로 구현하여 동적 적응과 재사용을 지원한다.
• 분할 표현의 미분 가능성을 활용해 스킬 매개변수와 초평면 매개변수(예: 가중치 및 옵티멀)에 모두 기울기 업데이트를 적용한다.
• 특징 공학 기법(예: RoboCup에서의 에이전트 간 상대 위치)을 초평면 기저 함수에 통합하여 환경 역학에 대한 적응성 향상

실험 결과

연구 질문

• RQ1 단일 프레임워크가 연속 상태 MDP에서 최적의 스킬과 그 배치 정책(스킬 간 정책)을 함께 학습할 수 있는가?
• RQ2 수동으로 지정하지 않고 상태 공간의 다양한 영역에서 스킬을 자동으로 조합하고 재사용할 수 있는가?
• RQ3 공동 최적화를 통해 초기에 잘못 설정된 모델(부적절한 스킬과 정책)을 어느 정도 수정할 수 있는가?
• RQ4 RoboCup 도메인에서 신규 에이전트(예: 수비수) 추가와 같은 환경 변화에 어떻게 적응하는가?
• RQ5 초기 학습과 비교해 다수의 관련 작업 간에 표본 복잡도를 줄이며 일반화할 수 있는가?

주요 결과

• 2D 탐색 작업에서 ASAP는 적응형 초평면 분할을 통해 동일한 스킬 A를 상태 공간의 두 개의 서로 다른 영역에서 재사용하는 것을 학습하여 거의 최적의 성능을 달성했다.
• RoboCup 도메인에서 ASAP는 직관적이고 적응적인 스킬 분할을 학습했다: 수비수의 특징을 포함할 경우 분할의 형태가 의미적으로 변화하여 환경 역학에 민감함을 보였다.
• R2 도메인에서 수비수의 x좌표를 특징으로 사용하면 더 평탄한 스킬 분할이 되었고, x와 y 좌표를 모두 사용할 경우 '압축된' 분할이 나타나 수비수를 뚫고 전진하는 전략적 드리블을 반영했다.
• R1 도메인에서 선형 초평면 표현이 다항식 표현보다 우수했으며, 더 적은 매개변수와 더 빠른 수렴을 통해 거의 최적의 성능를 달성했다.
• ASAP는 초기화에 대해 강건했으며, 거의 최적의 성능를 달성하는 다수의 국소 최적 해로 수렴하는 것으로 나타나 안정적인 학습 동역학을 보였다.
• 기존 스킬을 다중 작업 간에 재사용함으로써 표본 복잡도를 크게 감소시켰고, 초기 학습 대비 다중 작업 시나리오에서 뛰어난 성능을 보였다.