[논문 리뷰] Maxmin Q-learning: Controlling the Estimation Bias of Q-learning

Qingfeng Lan, Yangchen Pan외 2명|arXiv (Cornell University)|2020. 02. 16.

Reinforcement Learning in Robotics참고 문헌 13인용 수 38

한 줄 요약

Maxmin Q-learning은 부스트래스트 타깃에서 N개의 행동 가치 추정기의 최솟값을 사용하여 추정 편향과 분산을 유연하게 제어하고, 수렴 보장과 실험적 검증을 제공합니다.

ABSTRACT

Q-learning suffers from overestimation bias, because it approximates the maximum action value using the maximum estimated action value. Algorithms have been proposed to reduce overestimation bias, but we lack an understanding of how bias interacts with performance, and the extent to which existing algorithms mitigate bias. In this paper, we 1) highlight that the effect of overestimation bias on learning efficiency is environment-dependent; 2) propose a generalization of Q-learning, called \emph{Maxmin Q-learning}, which provides a parameter to flexibly control bias; 3) show theoretically that there exists a parameter choice for Maxmin Q-learning that leads to unbiased estimation with a lower approximation variance than Q-learning; and 4) prove the convergence of our algorithm in the tabular case, as well as convergence of several previous Q-learning variants, using a novel Generalized Q-learning framework. We empirically verify that our algorithm better controls estimation bias in toy environments, and that it achieves superior performance on several benchmark problems.

연구 동기 및 목표

• Q-learning에서의 추정 편향과 환경 의존적 학습 효율성에 대한 연구 동기를 제시한다.
• 추정기 수 N으로 편향과 분산을 조정할 수 있는 일반화로서 Maxmin Q-learning을 도입한다.
• 적절한 N에 대해 편향 없는 추정과 분산 감소를 이론적으로 분석한다.
• 표 형식의 일반화된 Q-learning 프레임워크 안에서 Maxmin Q-learning의 수렴성을 증명한다.
• 토이 환경과 벤치마크 문제에서 편향 제어와 성능을 실증적으로 검증한다.

제안 방법

• 각 상태-행동 쌍에 대해 N개의 행동 가치 추정치 Q^1, ..., Q^N을 유지한다.
• 부스트래스트 타깃에서 N개의 추정치의 최솟값을 사용한다: max_a' min_i Q^i(s', a').
• 리플리프 버퍼와 미니배치를 이용해 단계별로 임의로 선택된 부분집합의 추정치를 업데이트한다.
• 필요 시 Maxmin DQN을 위해 각 추정치에 대한 타깃을 유지하는 타깃 네트워크를 포함한다.
• 이론적 결과를 제공한다: E[Z_MN] (편향) 은 N이 증가함에 따라 감소하고 Var[Q_sa^min]도 N이 증가함에 따라 감소한다.
• Maxmin Q-learning을 G(Q) = max_a min_i Q^i_sa로의 Generalized Q-learning의 특수한 경우로 제시한다.

실험 결과

연구 질문

• RQ1 Q-learning에서의 과대추정 편향이 다양한 환경에서 학습 효율성에 어떤 영향을 미치는가?
• RQ2 편향 제어 메커니즘이 부스트래스트 타깃의 편향과 분산을 유연하게 모두 줄일 수 있는가?
• RQ3 Maxmin Q-learning에서 추정기의 수 N과 추정 편향/분산 간의 이론적 관계는 무엇인가?
• RQ4 Maxmin Q-learning은 표 형식에서 수렴하며 Generalized Q-learning 프레임워크 하에서 다른 Q-learning 변형으로 일반화될 수 있는가?
• RQ5 깊은 강화학습 벤치마크에서 Maxmin Q-learning이 기존의 편향 감소 방법들과 비교해 실무적으로 효과적인가?

주요 결과

• N이 증가함에 따라 Maxmin Q-learning은 과대추정 편향을 감소시키고, N이 커지면 과소추정 편향을 유도할 수 있다.
• Var[Q_sa^min]은 N이 증가함에 따라 감소하며, 특정 조건에서 N ≥ 8에서 하나의 추정기를 모든 데이터에 사용하는 분산보다 낮을 수 있다.
• 표준 Q-learning보다 근사 분산이 낮고 거의 편향이 없는 추정을 제공하는 N이 존재한다.
• Maxmin Q-learning은 Generalized Q-learning 프레임워크 내에서 표 형식에서 수렴한다.
• 실험 결과는 토이 환경에서의 추정 편향 제어가 견고하며, 여러 벤치마크에서 우수한 성능을 보임을 시사한다.