[논문 리뷰] The Online Discovery Problem and Its Application to Lifelong Reinforcement Learning.

Emma Brunskill, Lihong Li|arXiv (Cornell University)|2015. 06. 10.

Reinforcement Learning in Robotics참고 문헌 15인용 수 4

한 줄 요약

이 논문은 공유된 상태/행동 공간을 가진 관련된 MDP의 시퀀스를 통해 효율적인 평생 강화학습을 가능하게 하는 온라인 발견 문제를 도입한다. 전이 및 보상은 다를 수 있으나, 교차 작업 탐색과 전이를 활용하여 단일 작업 학습보다 전체 샘플 복잡도를 크게 감소시키는 최적의 학습 알고리즘을 제안한다. 이는 악성 작업 순서 조건 하에서도 성립한다.

ABSTRACT

Transferring knowledge across a sequence of related tasks is an important challenge in reinforcement learning. Despite much encouraging empirical evidence that shows benefits of transfer, there has been very little theoretical analysis. In this paper, we study a class of lifelong reinforcement-learning problems: the agent solves a sequence of tasks modeled as finite Markov decision processes (MDPs), each of which is from a finite set of MDPs with the same state/action spaces and different transition/reward functions. Inspired by the need for cross-task exploration in lifelong learning, we formulate a novel online discovery problem and give an optimal learning algorithm to solve it. Such results allow us to develop a new lifelong reinforcement-learning algorithm, whose overall sample complexity in a sequence of tasks is much smaller than that of single-task learning, with high probability, even if the sequence of tasks is generated by an adversary. Benefits of the algorithm are demonstrated in a simulated problem.

연구 동기 및 목표

• 순차적 강화학습 작업 간 지식 전이에 대한 이론적 분석 부족을 해결한다.
• 평생 학습 환경에서 교차 작업 탐색을 모델링하기 위한 새로운 온라인 발견 문제를 설정한다.
• 공유된 구조를 가진 작업 시퀀스에서 전체 샘플 복잡도를 최소화하는 알고리즘을 개발한다.
• 높은 확률 보장 하에 성능을 유지하면서도 악성 작업 순서에 대한 강건성을 확보한다.
• 시뮬레이션 환경에서의 실증 평가를 통해 제안된 방법의 실용적 이점을 입증한다.

제안 방법

• 공유된 상태 및 행동 공간을 가진 유한한 가능 MDP 집합에서 유한 MDP의 시퀀스로 평생 강화학습을 모델링한다.
• 에이전트가 실시간으로 새로운 MDP를 식별하고 적응해야 하는 학습 과제로 온라인 발견 문제를 설정한다.
• 작업 간 탐색과 기존 작업 구조를 활용하는 균형 잡힌 탐색 전략을 가진 최적의 학습 알고리즘을 설계한다.
• 관측된 전이와 보상 기반으로 정책을 유지하고 업데이트하는 메타러닝 프레임워크를 사용한다.
• MDP 간의 공유 구조를 활용하여 중복 학습을 줄이고 수렴 속도를 가속화한다.
• 작업 발견에 특화된 탐색 전략을 통합하여 샘플 복잡도에 대한 높은 확률 보장을 확보한다.

실험 결과

연구 질문

• RQ1 어떻게 관련된 MDP의 시퀀스에서 평생 학습 환경에서 지식을 효과적으로 전이할 수 있는가?
• RQ2 순차적 작업 실행 중 실시간으로 새로운 MDP를 발견하고 적응하는 최적의 방법은 무엇인가?
• RQ3 악성 작업 순서에서 단일 작업 학습보다 샘플 복잡도를 크게 낮출 수 있는 학습 알고리즘이 존재하는가?
• RQ4 교차 작업 탐색을 통한 평생 RL에서 샘플 효율성과 수렴에 대해 이론적으로 보장할 수 있는 것은 무엇인가?
• RQ5 전반적인 학습 효율성 측면에서 제안된 방법은 단일 작업 학습보다 어떻게 비교되는가?

주요 결과

• 제안된 알고리즘은 단일 작업 학습보다 작업 시퀀스 전반에 걸쳐 유의미하게 낮은 전체 샘플 복잡도를 달성한다.
• 악성 작업 순서 조건 하에서도 알고리즘이 높은 확률 보장 하에 성능을 유지한다.
• 교차 작업 탐색은 관련 MDP 간 학습의 빠른 수렴과 중복 감소를 이끈다.
• 이론적 분석을 통해 제안된 알고리즘이 제시된 온라인 발견 문제에 대해 최적임을 확인한다.
• 시뮬레이션 환경에서의 실증 결과는 샘플 효율성 및 전이 성능 측면에서 제안된 방법의 이점을 검증한다.
• 사전 작업 순서에 대한 지식 없이도 MDP 간의 구조적 유사성을 활용하여 효과적인 평생 학습을 가능하게 한다.