[논문 리뷰] Online Transfer Learning in Reinforcement Learning Domains

Yusen Zhan, Matthew E. Taylor|arXiv (Cornell University)|2015. 07. 02.

Reinforcement Learning in Robotics참고 문헌 27인용 수 25

한 줄 요약

이 논문은 강화학습에서 에이전트 간 상호작용을 동적 지식 전이로 모델링하는 온라인 전이학습 프레임워크를 제안하며, 행동 조언을 통한 에이전트 간 지도를 공식화한다. 유한한 조언 조건 하에서 타뷸라 및 선형 함수 근사와 함께 Q-학습과 Sarsa의 수렴성을 증명한다. 또한 교사의 조언이 최종 성능을 떨어뜨릴 수 없음을 입증하며, 선형 체인 MDP와 팩맨 환경에서 실험적으로 검증한다.

ABSTRACT

This paper proposes an online transfer framework to capture the interaction among agents and shows that current transfer learning in reinforcement learning is a special case of online transfer. Furthermore, this paper re-characterizes existing agents-teaching-agents methods as online transfer and analyze one such teaching method in three ways. First, the convergence of Q-learning and Sarsa with tabular representation with a finite budget is proven. Second, the convergence of Q-learning and Sarsa with linear function approximation is established. Third, the we show the asymptotic performance cannot be hurt through teaching. Additionally, all theoretical results are empirically validated.

연구 동기 및 목표

• 강화학습에서 에이전트 간 상호작용을 온라인 전이학습으로 공식화하여, 기존의 전이학습을 동적인 실시간 환경으로 확장한다.
• 기존의 에이전트-에이전트 지도 방법(예: 행동 조언)을 통합된 온라인 전이학습 프레임워크 내에서 재구성한다.
• 교사 에이전트로부터 유한한 조언을 받는 Q-학습과 Sarsa의 수렴성 및 성능 한계를 이론적으로 분석한다.
• 단순한 MDP와 복잡한 팩맨 환경에서 이론적 주장의 실증적 검증을 수행한다.
• 교사의 조언이 학습 알고리즘의 최종 성능을 떨어뜨릴 수 없음을 입증한다. 즉, 조언의 질에 관계없이 최적 정책은 그대로 유지된다.

제안 방법

• 강화학습에서 교사-학생 상호작용을 온라인 학습 중 동적 지식 전이로 모델링하는 온라인 전이학습 프레임워크를 제안한다.
• Lazaric(2012)의 전이학습 분류 체계를 온라인 환경에 적용하여, 행동 조언을 인스턴스 전이의 한 형태로 간주한다.
• 교사가 제안한 행동을 통합하기 위해 시간차 백업을 수정한 Q-학습 및 Sarsa 업데이트 규칙을 사용한다.
• 표준 학습률 조건과 방문 빈도 조건을 가정할 때, 타뷸라 Q-학습과 Sarsa의 수렴 증명을 적용한다.
• 표준 가정(예: 유한한 특징, 감소하는 단계 크기)을 사용하여 선형 함수 근사의 수렴 분석을 확장한다.
• 선형 체인 MDP와 팩맨 시뮬레이션에서 프레임워크를 실증적으로 평가하며, 네 가지 지도 조건(정확한 조언, 무작위 조언, 열악한 조언, 조언 없음) 간의 총 보상 수준을 비교한다.

실험 결과

연구 질문

• RQ1 행동 조언을 통한 온라인 전이학습은 타뷸라 설정에서 유한한 조언 조건 하에 Q-학습과 Sarsa의 수렴을 보장하는가?
• RQ2 선형 함수 근사 하에서 유한한 조언 조건 하에 Q-학습과 Sarsa의 수렴을 확보할 수 있는가?
• RQ3 교사의 조언이 학습 에이전트의 최종 성능에 영향을 줄 수 있는 이론적 한계가 존재하는가?
• RQ4 실제로 교사의 조언 품질이 총 누적 보상에 영향을 미치는가? 그리고 그 영향은 통계적으로 유의미한가?
• RQ5 제안된 프레임워크는 기존의 에이전트-에이전트 지도 방법들을 통합적인 이론적 기반으로 통합할 수 있는가?

주요 결과

• 표준 학습률 및 방문 빈도 조건 하에서, 타뷸라 표현을 사용하는 Q-학습과 Sarsa가 유한한 조언을 받을 경우 최적의 Q-값으로 수렴한다.
• 선형 함수 근사 하에서는 특징과 단계 크기에 대한 표준 정규성 조건을 가정할 경우, Q-학습과 Sarsa가 최적의 Q-값으로 수렴한다.
• 교사의 조언은 Q-학습이나 Sarsa의 최종 성능을 떨어뜨릴 수 없다. 조언의 질에 관계없이 최적 정책은 동일하게 유지된다.
• 선형 체인 MDP와 팩맨 환경에서의 실증 결과는 지도 조건 간 총 보상에 통계적으로 유의미한 차이가 있음을 보여주며(p < 4.6×10⁻¹³), 정확한 교사 조언이 다른 조건보다 뛰어난 성능을 보였다.
• 정확한 교사 조건에서 평균 총 보상은 3,746.75(FR) 및 341,790.99(TR)를 기록했으며, 조언 없음 조건(3,766.58 FR, 318,072.70 TR)보다 유의미하게 높았다. 이는 이론적 예측을 확인하는 데 기여했다.
• 결과는 조언이 학습 속도와 총 보상을 향상시키지만, 학습 알고리즘의 기본적인 최종 한계에는 영향을 주지 않는다는 것을 검증한다.