[논문 리뷰] Adaptive Ensemble Q-learning: Minimizing Estimation Bias via Error Feedback

Hang Wang, Sen Lin외 1명|arXiv (Cornell University)|2023. 06. 20.

Image and Signal Denoising Methods인용 수 6

한 줄 요약

이 논문은 시간에 따라 변하는 함수 근사 오차로 인한 추정 편향을 최소화하기 위해 오차 피드백을 사용하여 Q-학습에서 앙상블 크기를 동적으로 조정하는 새로운 방법인 Adaptive Ensemble Q-learning (AdaEQ)를 제안한다. 문제를 Model Identification Adaptive Control (MIAC)에 영감을 받은 적응 제어 시스템으로 모델링함으로써, AdaEQ는 실시간 근사 오차 피드백을 활용해 편향을 거의 0에 유지하며, 기존 최첨단 방법들인 REDQ와 Average-DQN에 비해 샘플 효율성과 MuJoCo 연속 제어 벤치마크에서의 성능을 크게 향상시킨다.

ABSTRACT

The ensemble method is a promising way to mitigate the overestimation issue in Q-learning, where multiple function approximators are used to estimate the action values. It is known that the estimation bias hinges heavily on the ensemble size (i.e., the number of Q-function approximators used in the target), and that determining the `right' ensemble size is highly nontrivial, because of the time-varying nature of the function approximation errors during the learning process. To tackle this challenge, we first derive an upper bound and a lower bound on the estimation bias, based on which the ensemble size is adapted to drive the bias to be nearly zero, thereby coping with the impact of the time-varying approximation errors accordingly. Motivated by the theoretic findings, we advocate that the ensemble method can be combined with Model Identification Adaptive Control (MIAC) for effective ensemble size adaptation. Specifically, we devise Adaptive Ensemble Q-learning (AdaEQ), a generalized ensemble method with two key steps: (a) approximation error characterization which serves as the feedback for flexibly controlling the ensemble size, and (b) ensemble size adaptation tailored towards minimizing the estimation bias. Extensive experiments are carried out to show that AdaEQ can improve the learning performance than the existing methods for the MuJoCo benchmark.

연구 동기 및 목표

• 시간에 따라 변하는 함수 근사 오차로 인한 딥 Q-학습에서 지속적인 과소추정 및 과대추정 편향을 해결하기 위해.
• 고정된 크기 대신 학습 중 최적의 앙상블 크기를 적응적으로 선택하는 방법을 개발하기 위해.
• 근사 오차를 피드백으로 간주하여 동적 앙상블 크기 제어를 통해 추정 편향을 최소화하기 위해.
• 기존 방법들인 Maxmin과 REDQ를 특수 케이스로 포함하는 일반화된 앙상블 프레임워크를 만들기 위해.
• 연속 제어 강화 학습 벤치마크에서 학습 안정성과 성능을 향상시키기 위해.

제안 방법

• 적응적 앙상블 크기 선택을 위한 추정 편향의 이론적 상한 및 하한을 유도한다.
• 현재 근사 오차(몬테카를로 수익 비교를 통해 계산됨)를 입력으로 사용하는 피드백 메커니즘을 도입하여 앙상블 크기 적응을 수행한다.
• Model Identification Adaptive Control (MIAC) 프레임워크를 적용하여 실시간 오차 피드백에 기반해 앙상블 크기를 동적으로 조정한다.
• 학습 중 과소 또는 과대추정 경향을 균형 잡기 위해 '허용 오차'(tolerance) 하이퍼파라미터를 도입한다.
• 확률 1로 최적의 Q-함수 수렴을 보장하기 위해 확률적 근사 프레임워크를 활용한다.
• 피드백 기반 적응 메커니즘을 통해 표준 Q-학습 및 액터-크리틱 방법 모두와 통합 가능하다.

실험 결과

연구 질문

• RQ1 시간에 따라 변하는 근사 오차에 대응해 앙상블 크기를 동적으로 적응시킴으로써 Q-학습의 추정 편향을 최소화할 수 있는가?
• RQ2 학습 과정에서 앙상블 크기, 근사 오차, 추정 편향 간의 관계는 어떻게 변화하는가?
• RQ3 피드백 기반 적응 제어 메커니즘이 딥 Q-학습에서 추정 편향을 거의 0에 유지하는 데 효과적인가?
• RQ4 고정 크기의 앙상블 방법에 비해 앙상블 크기의 적응적 선택이 학습 성능과 안정성을 향상시키는가?
• RQ5 제안된 방법은 다양한 MuJoCo 환경에서 기존의 앙상블 방법들인 REDQ와 Average-DQN을 일반화하고 이를 초월할 수 있는가?

주요 결과

• AdaEQ는 모든 MuJoCo 환경에서 REDQ와 Average-DQN보다 높은 평균 수익을 달성했으며, Hopper-v2에서는 최대 8.2% 향상되고 Walker2d에서는 4.5% 향상되었다.
• 이론적 상한과 실증적 오차 추적을 통해 실시간으로 앙상블 크기를 조정함으로써 추정 편향을 거의 0에 유지함을 확인했다.
• 학습 시간 오버헤드는 매우 적었으며, 평균적으로 REDQ의 1.06배의 시간만을 소요했고, 10 에포크마다 적응 업데이트를 수행함에도 불구하고 그러했다.
• 초기 앙상블 크기에 대해 강인하여, M 값의 시작 조건에 관계없이 일관된 성능 향상을 보였다.
• 적응 메커니즘이 고정 크기의 앙상블 방법에서 흔히 발생하는 과소추정 및 과대추정 편향을 효과적으로 감소시켰다.
• 실증 결과에 따르면 근사 오차의 시간에 따라 변하는 성격이 편향에 상당한 영향을 미치며, 이는 동적 적응의 필요성을 정당화한다.