[논문 리뷰] Harnessing Structures for Value-Based Planning and Reinforcement Learning

Yuzhe Yang, Guo Zhang외 2명|arXiv (Cornell University)|2020. 04. 30.

Reinforcement Learning in Robotics참고 문헌 30인용 수 4

한 줄 요약

이 논문은 값 기반 계획법과 딥 강화 학습에서 상태-행동 가치 함수(Q함수)의 저랭크 구조를 매트릭스 추정(ME) 기법을 사용하여 활용하는 방법을 제안한다. 이 본질적인 구조를 활용함으로써, 제어 작업과 아케이드 게임에서 샘플 효율성과 성능이 향상되며, 다양한 값 기반 RL 알고리즘 전반에 걸쳐 일관된 성능 향상을 달성한다.

ABSTRACT

Value-based methods constitute a fundamental methodology in planning and deep reinforcement learning (RL). In this paper, we propose to exploit the underlying structures of the state-action value function, i.e., Q function, for both planning and deep RL. In particular, if the underlying system dynamics lead to some global structures of the Q function, one should be capable of inferring the function better by leveraging such structures. Specifically, we investigate the low-rank structure, which widely exists for big data matrices. We verify empirically the existence of low-rank Q functions in the context of control and deep RL tasks (Atari games). As our key contribution, by leveraging Matrix Estimation (ME) techniques, we propose a general framework to exploit the underlying low-rank structure in Q functions, leading to a more efficient planning procedure for classical control, and additionally, a simple scheme that can be applied to any value-based RL techniques to consistently achieve better performance on ''low-rank'' tasks. Extensive experiments on control tasks and Atari games confirm the efficacy of our approach.

연구 동기 및 목표

• 제어 및 딥 RL 작업 전반에 걸쳐 Q함수에 저랭크 구조가 존재하는지 조사하는 것.
• 저랭크 Q함수 구조를 활용하여 계획법 및 RL 성능을 향상시키는 일반적인 프레임워크를 개발하는 것.
• 기본적인 제어 및 딥 RL에서 샘플 효율성을 향상시키기 위해 잠재적인 매트릭스 구조를 활용하는 것.
• 기존의 값 기반 RL 알고리즘에 즉시 적용 가능한 성능 향상 기법을 제공하는 것.

제안 방법

• 이 방법은 매트릭스 추정(ME) 기법을 사용하여 Q함수 추정 문제를 행렬 완성 문제로 공식화한다.
• Q함수 행렬이 저랭크 구조를 띠고 있다고 가정하며, 이는 대규모 데이터 행렬에서 흔한 특성이다.
• 표준 Q함수 추정을 저랭크 근사로 대체함으로써 ME를 값 기반 계획법 및 RL에 통합한다.
• 이 방법은 어떤 값 기반 RL 알고리즘과도 호환되며, 아키텍처 변경 없이도 일관된 성능 향상을 가능하게 한다.
• 저랭크 구조와 성능 향상 여부를 평가하기 위해 제어 환경과 아케이드 게임에서 실증적 검증을 수행한다.

실험 결과

연구 질문

• RQ1 제어 및 딥 RL 작업에서 Q함수에 저랭크 구조가 존재하는가?
• RQ2 매트릭스 추정 기법이 저랭크 Q함수를 효과적으로 활용하여 계획법 및 RL 성능을 향상시킬 수 있는가?
• RQ3 제안된 방법은 다양한 값 기반 RL 알고리즘 전반에 걸쳐 샘플 효율성과 성능 향상에 어떻게 기여하는가?
• RQ4 저랭크 구조는 값 기반 학습에서 일반화 및 수렴에 어떤 영향을 미치는가?

주요 결과

• 실증 결과는 제어 작업과 아케이드 게임 전반에 걸쳐 Q함수에 저랭크 구조가 존재한다는 것을 확인한다.
• 제안된 ME 기반 프레임워크는 Q함수의 저랭크 구조를 활용하여 계획 효율성을 향상시킨다.
• 이 방법은 저랭크 작업에서 여러 값 기반 RL 알고리즘 전반에 걸쳐 일관된 성능 향상을 달성한다.
• 이 방법은 샘플 효율성을 향상시켜 높은 성능에 도달하기 위해 필요한 상호작용 횟수를 감소시킨다.