[논문 리뷰] Target Transfer Q-Learning and Its Convergence Analysis

Yue Wang, Qi Meng외 4명|arXiv (Cornell University)|2018. 09. 21.

Distributed Sensor Networks and Detection Algorithms인용 수 4

한 줄 요약

이 논문은 특정 안전 조건을 만족할 경우, 소스 태스크의 Q함수를 타겟 태스크로 전이하여 학습을 가속화하는 새로운 강화학습 방법인 타겟 전이 Q-학습(TTQL)을 제안한다. 이 방법은 전이된 Q함수의 벨먼 오차를 안전 기준으로 활용함으로써 표준 Q-학습보다 빠른 수렴을 보장하며, 소스 및 타겟 MDP 간 유사성이 높을 경우 수렴 속도에 대한 이론적 보장을 제공한다.

ABSTRACT

Q-learning is one of the most popular methods in Reinforcement Learning (RL). Transfer Learning aims to utilize the learned knowledge from source tasks to help new tasks to improve the sample complexity of the new tasks. Considering that data collection in RL is both more time and cost consuming and Q-learning converges slowly comparing to supervised learning, different kinds of transfer RL algorithms are designed. However, most of them are heuristic with no theoretical guarantee of the convergence rate. Therefore, it is important for us to clearly understand when and how will transfer learning help RL method and provide the theoretical guarantee for the improvement of the sample complexity. In this paper, we propose to transfer the Q-function learned in the source task to the target of the Q-learning in the new task when certain safe conditions are satisfied. We call this new transfer Q-learning method target transfer Q-Learning. The safe conditions are necessary to avoid the harm to the new tasks and thus ensure the convergence of the algorithm. We study the convergence rate of the target transfer Q-learning. We prove that if the two tasks are similar with respect to the MDPs, the optimal Q-functions in the source and new RL tasks are similar which means the error of the transferred target Q-function in new MDP is small. Also, the convergence rate analysis shows that the target transfer Q-Learning will converge faster than Q-learning if the error of the transferred target Q-function is smaller than the current Q-function in the new task. Based on our theoretical results, we design the safe condition as the Bellman error of the transferred target Q-function is less than the current Q-function. Our experiments are consistent with our theoretical founding and verified the effectiveness of our proposed target transfer Q-learning method.

연구 동기 및 목표

• 고표본 복잡도로 인해 Q-학습의 수렴 속도가 느려지는 문제를 해결하기 위해.
• 기존의 대부분의 히우리스틱 접근 방식과 달리 이론적 수렴 보장을 제공하는 RL을 위한 전이 학습 방법을 개발하기 위해.
• 기존의 사전 학습된 Q함수를 소스 태스크에서 신규 타겟 태스크로 전이할 때 성능 향상을 이끌 수 있는 안전 조건을 규명하기 위해.
• MDP 간 유사성과 전이 Q-학습의 수렴 속도 사이의 이론적 프레임워크를 수립하기 위해.
• 알고리즘의 안정성과 수렴을 보장하기 위해 실시간으로 검증 가능한, 벨먼 오차 기반의 실용적 안전 조건을 설계하기 위해.

제안 방법

• 타겟 태스크의 시간 차분 업데이트에서 소스 태스크의 Q함수를 타겟으로 사용하는 타겟 전이 Q-학습(TTQL)을 제안한다.
• 벨먼 오차 기반의 안전 조건을 도입한다: 전이된 Q함수의 최대 벨먼 오차는 타겟 태스크의 현재 Q함수의 최대 벨먼 오차 이하여야 한다.
• 수렴 속도 분석을 위해 할인율 상대 Q함수 오차 비율 $\gamma\beta$ 를 핵심 지표로 사용한다. 여기서 $\beta$ 는 전이된 Q함수의 상대 오차이다.
• 이론적 경계를 유도하여, $\gamma\beta < 1$ 이면 수렴이 보장되며, $\gamma\beta$ 가 작을수록 수렴 속도가 빨라진다는 것을 보여준다.
• 최대 노름 오차(MNE)와 최대 벨먼 오차(MNBE) 사이의 수학적 관계를 수립한다: $\mathbf{MNE}(Q) \leq \frac{\mathbf{MNBE}(Q)}{1 - \gamma}$, 이는 실용적인 오차 추정을 가능하게 한다.
• 이중 단계 분석을 활용한다: TTQL의 오차는 초기화 오차와 표본 오차로 구성되며, 둘 다 $\gamma\beta$ 에 의존한다.

실험 결과

연구 질문

• RQ1 소스 태스크의 Q함수를 타겟 태스크로 전이할 때, Q-학습의 학습 속도가 향상되는 조건은 무엇인가?
• RQ2 다른 태스크 간 지식 전이 시 전이 Q-학습의 수렴을 이론적으로 보장할 수 있는 방법은 무엇인가?
• RQ3 유해한 전이를 방지하고 수렴을 보장하기 위해 사용할 수 있는 안전하고 검증 가능한 조건이 되는 지표는 무엇인가?
• RQ4 소스 및 타겟 MDP 간의 유사성이 TTQL의 수렴 속도에 어떤 영향을 미치는가?
• RQ5 전이된 Q함수의 벨먼 오차를 상대 오차의 실용적 대체 지표로 사용할 수 있는가? 이를 통해 실시간 안전 검사를 가능하게 할 수 있는가?

주요 결과

• 소스 태스크와 타겟 태스크의 최적 Q함수 간 유사성이 할인율 상대 오차 비율 $\gamma\beta$ 로 측정될 때, TTQL은 표준 Q-학습보다 빠르게 수렴한다.
• TTQL의 수렴은 할인율 상대 오차 비율 $\gamma\beta < 1$ 인 경우에만 보장되며, $\gamma\beta$ 가 1에 가까워질수록 수렴 속도가 둔화된다.
• 벨먼 오차 기반의 안전 조건 ($\mathbf{MNBE}(Q_1^*) \leq \mathbf{MNBE}(Q_n)$) 은 전이된 Q함수가 현재 추정치보다 열 劣하지 않음을 보장하여 성능 저하를 방지한다.
• 실험 결과, TTQL은 $\gamma$, $r$, $P$ 의 모든 MDP 변형에서 표준 Q-학습을 능가하며, 소스-타겟 쌍 간의 유사성이 높을수록 더 빠른 수렴을 보였다.
• 안전 조건은 필수적이다: 조건 없이 TTQL을 사용할 경우 일부 경우에서 수렴하지 못함을 확인하여, 안정성 확보를 위한 필수성은 입증되었다.
• 이론적 관계 $\mathbf{MNE}(Q) \leq \frac{\mathbf{MNBE}(Q)}{1 - \gamma}$ 는 벨먼 오차를 활용해 Q함수 오차를 실용적으로 추정할 수 있게 하며, 이는 계산적으로 실현 가능하다.