[논문 리뷰] Meta-Q-Learning

Rasool Fakoor, Pratik Chaudhari외 2명|arXiv (Cornell University)|2020. 04. 30.

Data Stream Mining Techniques인용 수 7

한 줄 요약

메타-Q-학습(Meta-Q-Learning, MQL)은 과거 트레이젝터리 정보를 나타내는 컨텍스트 변수를 통합하고, 메타학습을 위한 다중작업 목적함수를 사용하며, 적률 추정을 통한 오프-폴리시 업데이트로 과거 경험을 재사용함으로써 Q-학습을 향상시키는 새로운 오프-폴리시 메타-RL 알고리즘이다. 이 알고리즘은 메타학습 데이터를 효과적으로 재사용하여 빠른 적응을 가능하게 하여 연속 제어 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

This paper introduces Meta-Q-Learning (MQL), a new off-policy algorithm for meta-Reinforcement Learning (meta-RL). MQL builds upon three simple ideas. First, we show that Q-learning is competitive with state of the art meta-RL algorithms if given access to a context variable that is a representation of the past trajectory. Second, using a multi-task objective to maximize the average reward across the training tasks is an effective method to meta-train RL policies. Third, past data from the meta-training replay buffer can be recycled to adapt the policy on a new task using off-policy updates. MQL draws upon ideas in propensity estimation to do so and thereby amplifies the amount of available data for adaptation. Experiments on standard continuous-control benchmarks suggest that MQL compares favorably with state of the art meta-RL algorithms.

연구 동기 및 목표

• 샘플 효율성과 적응 속도를 향상시키는 단순하면서도 효과적인 오프-폴리시 메타-RL 알고리즘을 개발하는 것.
• 과거 트레이젝터리 정보를 코딩하는 컨텍스트 변수를 추가함으로써 Q-학습이 메타-RL에서 경쟁력 있는 성능을 낼 수 있는지 조사하는 것.
• 다양한 작업 간 정책 메타학습에 대해 다중작업 목적함수가 얼마나 효과적인지 탐색하는 것.
• 오프-폴리시 업데이트를 통해 과거 메타학습 데이터를 효율적으로 재사용하여 새로운 작업에 대해 빠른 적응을 가능하게 하는 것.
• 적률 추정을 활용해 재사용된 경험의 분포 이탈을 보정함으로써 메타-RL의 데이터 효율성을 향상시키는 것.

제안 방법

• 과거 트레이젝터리에서 유도된 컨텍스트 변수를 도입하여 Q-학습 업데이트를 조건화함으로써 작업별 정책 적응을 가능하게 한다.
• 모든 메타학습 작업의 평균 수익을 최대화하는 다중작업 목적함수를 사용하여 정책 최적화를 수행한다.
• 다양한 작업의 과거 경험을 포함하는 메타학습 재생 버퍼를 활용하여 오프-폴리시 적응을 가능하게 한다.
• 재생 버퍼 내 전이를 재가중하기 위해 적률 스코어링을 적용하여 오프-폴리시 업데이트 중 분포 이탈을 보정한다.
• 오프-폴리시 Q-학습과 컨텍스트 조건부 가치 네트워크를 조합하여 최소한의 데이터로 새로운 작업에 대해 빠른 적응을 가능하게 한다.
• 학습 안정성 향상과 샘플 효율성 향상을 위해 타겟 네트워크를 사용하는 더블 Q-학습 업데이트 규칙을 적용한다.

실험 결과

연구 질문

• RQ1 과거 트레이젝터리 정보를 코딩하는 컨텍스트 변수를 Q-학습에 통합함으로써 메타-RL에서 Q-학습이 경쟁력 있는 성능을 낼 수 있는가?
• RQ2 다양한 작업 간 일반화를 위해 메타정책을 학습하는 데 다중작업 목적함수가 얼마나 효과적인가?
• RQ3 오프-폴리시 업데이트를 통해 과거 메타학습 데이터를 얼마나 효과적으로 재사용할 수 있는가?
• RQ4 적률 추정이 메타-RL에서 오프-폴리시 적응의 안정성과 성능을 향상시키는가?
• RQ5 표준 연속 제어 벤치마크에서 MQL은 최신 기술 수준(SOTA) 메타-RL 알고리즘보다 어떻게 비교되는가?

주요 결과

• 메타-Q-학습은 표준 연속 제어 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며 기존 메타-RL 알고리즘을 능가한다.
• 컨텍스트 변수의 통합은 메타-RL에서 Q-학습의 샘플 효율성과 적응 속도를 크게 향상시킨다.
• 다중작업 목적함수의 적용은 메타테스트 기간 동안 다양한 작업 간 일반화 능력이 뛰어난 강력한 메타정책을 도출한다.
• 적률 보정을 통한 오프-폴리시 업데이트로 과거 메타학습 데이터를 재사용함으로써 데이터 효율성이 향상되고 샘플 복잡도가 감소한다.
• 적률 추정의 사용은 다양한 작업에서 경험을 재사용할 때 오프-폴리시 업데이트의 안정성과 성능을 향상시킨다.
• 효율적인 경험 재사용과 컨텍스트 인식 학습 덕분에 MQL은 특히 낮은 데이터 환경에서 뛰어난 일반화 능력과 빠른 적응 능력을 보여준다.