[논문 리뷰] Learning Shared Representations in Multi-task Reinforcement Learning

Diana Borsa, Thore Graepel외 1명|arXiv (Cornell University)|2016. 03. 07.

Reinforcement Learning in Robotics참고 문헌 17인용 수 13

한 줄 요약

이 논문은 다중 작업 강화 학습 프레임워크를 제안하며, 수정된 피팅된 Q-반복(Fitted Q-Iteration, FQI) 및 피팅된 정책 반복(Fitted Policy Iteration, FPI)을 사용하여 여러 작업 간의 공유 표현을 함께 학습한다. 다중 작업 지도 학습 기법을 활용함으로써 데이터 효율성과 일반화 능력을 향상시키며, 빠른 정책 추론을 가능하게 하는 압축되고 이식 가능한 상태-행동 추상화를 학습한다. 이는 표본 수가 제한된 경우에도 성능을 발휘한다.

ABSTRACT

We investigate a paradigm in multi-task reinforcement learning (MT-RL) in which an agent is placed in an environment and needs to learn to perform a series of tasks, within this space. Since the environment does not change, there is potentially a lot of common ground amongst tasks and learning to solve them individually seems extremely wasteful. In this paper, we explicitly model and learn this shared structure as it arises in the state-action value space. We will show how one can jointly learn optimal value-functions by modifying the popular Value-Iteration and Policy-Iteration procedures to accommodate this shared representation assumption and leverage the power of multi-task supervised learning. Finally, we demonstrate that the proposed model and training procedures, are able to infer good value functions, even under low samples regimes. In addition to data efficiency, we will show in our analysis, that learning abstractions of the state space jointly across tasks leads to more robust, transferable representations with the potential for better generalization. this shared representation assumption and leverage the power of multi-task supervised learning. Finally, we demonstrate that the proposed model and training procedures, are able to infer good value functions, even under low samples regimes. In addition to data efficiency, we will show in our analysis, that learning abstractions of the state space jointly across tasks leads to more robust, transferable representations with the potential for better generalization.

연구 동기 및 목표

• 다중 작업 강화 학습에서 작업 간 공유 구조를 활용하여 개별적으로 학습할 경우의 비효율성을 해결하기 위해.
• 공유 표현을 사용하여 여러 작업 간 최적의 가치 함수를 함께 학습하는 방법을 개발하기 위해.
• 상태-행동 공간의 이식 가능한 저차원 추상화를 학습하여 데이터 효율성과 일반화 능력을 향상시키기 위해.
• 공유 표현이 명시적인 보조목표 정의 없이도 옵션 유사 행동을 암묵적으로 포착할 수 있음을 보여주기 위해.

제안 방법

• 공유 표현을 사용하여 다수의 작업 간 가치 함수를 함께 학습할 수 있도록 Fitted Q-Iteration(FQI) 및 Fitted Policy Iteration(FPI)를 확장한다.
• 가치 함수를 공유 특징과 작업별 특성 요소의 선형 조합으로 모델링함으로써 공동 최적화를 가능하게 한다.
• 지도 학습 환경에서의 다중 작업 학습 알고리즘을 활용하여 공유 표현의 정규화 및 일반화 능력 향상을 도모한다.
• 상태를 나타내는 공유 저차원 특징 공간 $\psi_s$ 를 사용하며, 이는 학습 과정에서 향상된 이식 가능한 구조를 반영하도록 개선된다.
• 정책과 가치 함수의 향상된 표현을 반영하기 위해 반복적으로 갱신되는 공유 표현 $\psi_s$ 를 활용한다.
• 오프-폴리시 학습과 경험 리플레이를 적용하여 데이터 수집과 가치 함수 학습을 분리함으로써 표본 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 다양한 작업 간 공유 표현이 강화 학습에서 데이터 효율성을 향상시킬 수 있는가?
• RQ2 기본적인 가치 반복 및 정책 반복 절차는 어떻게 공유 표현 하에 공동으로 가치 함수를 학습할 수 있도록 수정될 수 있는가?
• RQ3 명시적인 보조목표 정의 없이 공유 표현이 얼마나 이식 가능한 옵션 유사 행동을 포착할 수 있는가?
• RQ4 공동 학습이 단일 작업 학습 대비 더 강력하고 일반화 능력 있는 정책을 도출하는가?
• RQ5 학습 중에 볼 수 없었던 새로운 작업들에 대해 학습된 표현이 일반화 가능한가?

주요 결과

• 제안된 방법은 각 작업당 표본 수를 크게 줄여도 양호한 정책 성능을 달성하며, 낮은 표본 수 환경에서도 데이터 효율성을 입증한다.
• 공유 표현 덕분에 명시적인 보조목표 정의 없이도 200개의 표본만으로도 특정 방으로 이동하는 등의 옵션 유사 정책 추론이 가능하다.
• 이 방법은 가치 함수를 작업 간 일반화하여 성공적으로 학습하며, 단순한 탐색 작업의 경우 10~30개의 표본으로도 충분함을 보여준다.
• 공유 특징 공간은 환경의 압축되고 이식 가능한 추상화를 포착하며, 사전 정의된 보조목표 없이도 계층적 옵션과 유사한 성질을 띤다.
• 실험 결과는 공동 학습 절차가 단일 작업 기반 대비 더 강력하고 정교한 표현을 도출함을 보여준다.
• 학습 중에 볼 수 없었던 새로운 작업들에 대해서도 학습된 표현이 일반화됨을 확인하여 공유 표현의 강력한 이식 가능성 확인.