[논문 리뷰] Sample Complexity of Multi-task Reinforcement Learning

Emma Brunskill, Lihong Li|arXiv (Cornell University)|2013. 09. 26.

Reinforcement Learning in Robotics참고 문헌 17인용 수 46

한 줄 요약

이 논문은 유한 MDP 집합 위에 존재하는 미지의 분포에서 추출된 작업들의 시퀀스 간에 지식을 전이함으로써, 각 작업의 샘플 복잡도를 감소시키는 다중작업 강화학습 알고리즘을 제안한다. 미약한 가정 하에, 전이가 샘플 효율성을 크게 향상시키며, 악성 전이가 발생하지 않음을 보장함으로써 단일 작업 학습과 동일한 최악의 경우 성능을 유지를 함을 증명한다.

ABSTRACT

Transferring knowledge across a sequence of reinforcement-learning tasks is challenging, and has a number of important applications. Though there is encouraging empirical evidence that transfer can improve performance in subsequent reinforcement-learning tasks, there has been very little theoretical analysis. In this paper, we introduce a new multi-task algorithm for a sequence of reinforcement-learning tasks when each task is sampled independently from (an unknown) distribution over a finite set of Markov decision processes whose parameters are initially unknown. For this setting, we prove under certain assumptions that the per-task sample complexity of exploration is reduced significantly due to transfer compared to standard single-task algorithms. Our multi-task algorithm also has the desired characteristic that it is guaranteed not to exhibit negative transfer: in the worst case its per-task sample complexity is comparable to the corresponding single-task algorithm. 1

연구 동기 및 목표

• 작업들이 유한 MDP 집합 위에 존재하는 미지의 분포에서 추출될 때, 다중작업 강화학습의 샘플 복잡도를 이론적으로 분석하는 것.
• 작업 간 지식 전이를 활용하여 샘플 효율성을 향상시키는 다중작업 알고리즘을 개발하는 것.
• 알고리즘이 악성 전이를 피할 수 있도록 보장하여, 최악의 경우 단일 작업 학습 성능을 유지하는 것.
• 전이로 인해 발생하는 각 작업의 샘플 복잡도 감소에 대한 이론적 보장을 수립하는 것.

제안 방법

• 알고리즘은 각 작업이 유한한 MDP 집합 위에 존재하는 미지의 분포에서 독립적으로 추출되는 작업의 시퀀스에서 작동한다.
• 메타학습 접근법을 사용하여 경험을 공유하고 작업 간 정책을 업데이트함으로써 일반화 능력을 향상시킨다.
• MDP 파라미터는 초깃값이 알려져 있지 않지만 유한한 집합에 속해 있음을 가정하여 구조화된 전이를 가능하게 한다.
• 공유된 지식에 기반하여 적응하는 탐색 전략을 사용하여 중복 탐색을 줄인다.
• 이론적 분석은 농도 부등식과 전이 유도된 분산 감소를 이용하여 각 작업의 샘플 복잡도를 경계하는 데 기반한다.
• 전이가 실패하더라도 단일 작업 학습 성능 경계를 유지할 수 있도록 알고리즘을 설계한다. 이는 악성 전이가 발생하지 않음을 보장한다.

실험 결과

연구 질문

• RQ1 다양한 강화학습 작업 간 지식 전이가 탐색의 각 작업 복잡도를 감소시킬 수 있는가?
• RQ2 언제 전이가 샘플 효율성 향상에 대해 증명 가능한 개선을 이끌어내는가?
• RQ3 최악의 상황에서도 악성 전이를 피할 수 있도록 보장할 수 있는 다중작업 RL 알고리즘이 존재하는가?
• RQ4 동일한 가정 하에 제안된 알고리즘의 샘플 복잡도는 단일 작업 기반 알고리즘과 비교해 어떻게 되는가?

주요 결과

• 제안된 다중작업 알고리즘은 지식 전이 덕분에 각 작업의 샘플 복잡도를 크게 감소시킨다.
• 알고리즘은 악성 전이가 발생하지 않음을 보장하여, 최악의 경우 성능이 단일 작업 학습과 유사함을 보장한다.
• 작업들이 미지의 파라미터를 가진 유한한 MDP 분포에서 추출된다는 가정 하에 샘플 복잡도가 감소한다.
• 이론적 분석을 통해 전이가 탐색 효율성을 향상시키며, 악성 설정에서도 강건성을 유지함을 확인한다.