[논문 리뷰] On the Estimation Bias in Double Q-Learning

Zhizhou Ren, Guangxiang Zhu외 4명|arXiv (Cornell University)|2021. 09. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 46인용 수 12

한 줄 요약

이 논문은 더블 Q-학습이 과소추정 편향을 야기하여 가치 추정에서 다수의 비최적 고정점이 발생함을 밝혀냈다. 이를 해결하기 위해 저자는 추상화된 동적 프ogramming 모듈을 하한 추정기로 사용하여 과소추정을 보정하는 더블로 바운디드 Q-학습을 제안한다. 이는 기존의 기준 대비 표본 효율성과 수렴 속도에서 뚜렷한 향상을 보이며, Atari 벤치마크 과제에서 성능 향상을 이룬다.

ABSTRACT

Double Q-learning is a classical method for reducing overestimation bias, which is caused by taking maximum estimated values in the Bellman operation. Its variants in the deep Q-learning paradigm have shown great promise in producing reliable value prediction and improving learning performance. However, as shown by prior work, double Q-learning is not fully unbiased and suffers from underestimation bias. In this paper, we show that such underestimation bias may lead to multiple non-optimal fixed points under an approximate Bellman operator. To address the concerns of converging to non-optimal stationary solutions, we propose a simple but effective approach as a partial fix for the underestimation bias in double Q-learning. This approach leverages an approximate dynamic programming to bound the target value. We extensively evaluate our proposed method in the Atari benchmark tasks and demonstrate its significant improvement over baseline algorithms.

연구 동기 및 목표

• 더블 Q-학습에서의 비최적 수렴의 근본 원인, 특히 과소추정 편향에 기인한 원인을 규명하는 것.
• 근사 오차가 더블 Q-학습 하에서 벨만 연산자에 다수의 비최적 고정점으로 이르게 하는 구조적 특성 분석.
• 딥 강화 학습에서 과소추정 편향을 줄이고 최적 정책으로의 수렴을 향상시키는 방법 제안.
• 추상화된 동적 프로그래밍을 더블 Q-학습과 융합하여 가치 추정 성능을 향상시키는 효과 검증.

제안 방법

• 저자는 추상화된 동적 프로그래밍(ADP) 모듈을 사용하여 대상 가치의 하한 추정치를 제공하는 더블로 바운디드 추정기 도입.
• ADP 모듈은 단순화된 MDP 모델을 사용하여 진정한 가치 함수를 근사하기 위해 독립적으로 훈련되며, 보수적인 하한을 제공.
• 최종 Q-값 추정치는 더블 Q-학습의 타겟과 ADP 하한 추정치를 조합하여 과소추정 위험을 줄인다.
• 이 방법은 DDQN 및 클리핑된 더블 Q-학습과 같은 기존 알고리즘과 통합되며, 아키텍처 변경 최소화 가능.
• ADP 모듈은 몬테카를로 수익을 타겟으로 하여 상태-행동 쌍 데이터셋을 기반으로 지도학습 방식으로 훈련.
• 전체 훈련 목표는 벨만 오차 최소화와 함께 ADP 추정기의 가치 추정 제약을 활용.

실험 결과

연구 질문

• RQ1 더블 Q-학습에서 과소추정 편향이 가치 함수에서 다수의 비최적 고정점으로 이르는가?
• RQ2 근사 오차 하에서 벨만 연산자가 비최적 해로 수렴하기 쉬운 구조적 특성가 무엇인가?
• RQ3 추상화된 동적 프로그래밍 모듈이 더블 Q-학습에서 과소추정을 보정하는 효과적인 하한으로 기능할 수 있는가?
• RQ4 ADP 추정기 통합이 딥 강화 학습에서 표본 효율성과 수렴 속도를 향상시키는가?

주요 결과

• 더블 Q-학습은 거의 결정성에 가까운 환경에서도 과소추정 편향으로 인해 다수의 비최적 고정점으로 수렴할 수 있다.
• 제안된 더블로 바운디드 Q-학습 방법은 추상화된 동적 프로그래밍 모듈을 보수적인 하한으로 통합하여 과소추정을 줄인다.
• Atari 57 벤치마크에서, 이 방법은 DDQN 및 클리핑된 더블 Q-학습 대비 뚜렷한 표본 효율성 향상과 수렴 속도 향상을 달성한다.
• 절단 실험 결과, ADP 모듈만으로는 부족하지만, 부트스트랩과 조합될 경우 성능 향상이 뚜렷하다.
• 훈련 배치 전반에 걸쳐 타겟 값의 표준편차가 감소하여 보다 안정적인 학습 동역학을 나타낸다.
• 다양한 Atari 환경에서 평균 및 중앙값 인간 정규화 점수 모두에서 기준 대비 우월한 성능을 기록한다.