[논문 리뷰] An Optimal Online Method of Selecting Source Policies for Reinforcement Learning

Siyuan Li, Chongjie Zhang|arXiv (Cornell University)|2017. 09. 24.

Reinforcement Learning in Robotics인용 수 13

한 줄 요약

이 논문은 강화학습에서 소스 정책 선택을 최적의 온라인 방법으로 제안하며, 소스 정책 선택 문제를 다수의 손잡이 기반 문제(Multi-Armed Bandit, MAB)로 공식화하고 Q-학습에 정책 재사용을 통합한다. 이 방법은 최적의 정책으로 수렴함과 동시에 효율적이고 이론적으로 타당한 전이 학습을 가능하게 하며, 기존의 PRQL과 같은 방법보다 속도와 강건성 면에서 뛰어나며, 특히 소스 지식이 관련이 없거나 열등한 경우에도 성능이 뛰어나다.

ABSTRACT

Transfer learning significantly accelerates the reinforcement learning process by exploiting relevant knowledge from previous experiences. The problem of optimally selecting source policies during the learning process is of great importance yet challenging. There has been little theoretical analysis of this problem. In this paper, we develop an optimal online method to select source policies for reinforcement learning. This method formulates online source policy selection as a multi-armed bandit problem and augments Q-learning with policy reuse. We provide theoretical guarantees of the optimal selection process and convergence to the optimal policy. In addition, we conduct experiments on a grid-based robot navigation domain to demonstrate its efficiency and robustness by comparing to the state-of-the-art transfer learning method.

연구 동기 및 목표

• 작업 유사도에 대한 사전 지식 없이도 온라인 소스 정책 선택 과제를 해결한다.
• 학습 도중 유용한 소스 정책만 동적으로 선택하여 부정적 전이를 방지한다.
• 정책 재사용을 통해 지식 전이를 가능하게 하면서도 Q-학습의 이론적 수렴 보장을 유지한다.
• 관련 없는 소스 정책에 대해 강건성을 확보하여 계속적인 탐색과 최적의 수렴을 보장한다.
• 기존 히ュ리스틱 또는 수렴 보장이 없는 방법보다 이론적으로 타당하고 적응 가능한 소스 정책 선택 방법을 개발한다.

제안 방법

• 각 소스 정책를 손잡이 기반 문제의 한 손잡이로 간주하여 온라인 소스 정책 선택 문제를 다수의 손잡이 기반 문제(MAB)로 공식화한다.
• Q-학습에 정책 재사용을 통합하여 학습 도중 이전에 학습된 정책을 활용할 수 있도록 한다.
• 감소하는 탐색 확률 $ p_t $ 를 가진 에프실론-그리디 전략을 사용하여 모든 상태-행동 쌍이 무한히 방문됨을 보장한다.
• 추정된 수익에 기반해 소스 정책 선택 확률을 조정하여 탐색과 이용의 동적 균형을 이룬다.
• 충분한 탐색과 유한한 학습률을 보장함으로써 표준 Q-학습과 동일한 이론적 수렴 성질을 유지한다.
• 정책 재사용을 Q-학습 업데이트 규칙에 통합하여, 적용 가능한 경우 소스 정책 출력을 기반으로 Q-값을 초기화할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 온라인 소스 정책 선택을 다수의 손잡이 기반 문제(MAB)로 공식화할 수 있는가? 이를 통해 최적의 적응형 정책 재사용이 가능할까?
• RQ2 Q-학습에 정책 재사용을 통합하면 이론적 수렴 보장이 유지되면서 학습 속도가 향상될까?
• RQ3 소스 정책이 열등하거나 관련이 없을 경우, 제안된 방법은 PRQL에 비해 어떻게 성능을 내는가?
• RQ4 그리디 정책이 소스 정책에 의해 열등하게 평가될 경우에도, 방법이 최적의 정책으로 수렴할 수 있을까?
• RQ5 소스 정책이 유용하지 않은 환경에서는 알고리즘이 어떻게 행동할까? 그리고 조기 수렴을 피할 수 있을까?

주요 결과

• 제안된 방법은 모든 테스트된 타겟 작업에서 PRQL보다 더 빠른 수렴 속도를 보이며, 평균 평가 보상이 더 높다.
• 소스 정책이 관련이 없는 경우(예: 목표가 다른 방에 있을 경우), 방법의 성능은 표준 Q-학습과 유사하지만, PRQL는 조기 수렴으로 인해 정체된다.
• 감소하는 $ ho_t $ 기반의 에프실론-그리디 전략을 통해 지속적인 탐색을 유지함으로써, 소스 정책이 오도를 일으키더라도 최적의 정책으로 수렴함을 보장한다.
• 매우 유사한 작업($ heta_s $)에서 PRQL는 10번의 실행 중 2번에서 부분 최적 정책으로 수렴하지만, 제안된 방법은 일관되게 탐색을 유지하고 조기 수렴을 피한다.
• 소스 정책이 유용할 경우 지식 전이를 성공적으로 수행하고, 그렇지 않을 경우 부정적 전이를 방지함으로써 강건성과 적응성을 입증한다.
• 실험 결과는 방법이 전이 가속화 및 비전이 상황 모두에서 거의 최적의 성능을 달성함을 확인하며, 이론적 보장을 검증한다.