[논문 리뷰] Deep Reinforcement Learning with Dynamic Optimism.

Ted Moskovitz, Jack Parker-Holder외 2명|arXiv (Cornell University)|2021. 02. 07.

Advanced Bandit Algorithms Research참고 문헌 35인용 수 3

한 줄 요약

이 논문은 깊이 있는 비정책 기반 액터-크리틱 알고리즘인 DOPE를 제안하며, 선택을 다중 손잡이 슬롯머신 문제로 간주하여 가치 추정에서 낙관주의와 비관주의를 동적으로 균형 잡는다. 온라인에서 낙관주의 정도를 적응적으로 조정함으로써 DOPE는 어려운 연속 제어 과제에서 고정된 낙관주의 방법보다 뛰어난 성능을 달성하며, 딥 강화 학습에서 동적 불확실성 처리의 이점을 입증한다.

ABSTRACT

In recent years, deep off-policy actor-critic algorithms have become a dominant approach to reinforcement learning for continuous control. This comes after a series of breakthroughs to address function approximation errors, which previously led to poor performance. These insights encourage the use of pessimistic value updates. However, this discourages exploration and runs counter to theoretical support for the efficacy of optimism in the face of uncertainty. So which approach is best? In this work, we show that the optimal degree of optimism can vary both across tasks and over the course of learning. Inspired by this insight, we introduce a novel deep actor-critic algorithm, Dynamic Optimistic and Pessimistic Estimation (DOPE) to switch between optimistic and pessimistic value learning online by formulating the selection as a multi-arm bandit problem. We show in a series of challenging continuous control tasks that DOPE outperforms existing state-of-the-art methods, which rely on a fixed degree of optimism. Since our changes are simple to implement, we believe these insights can be extended to a number of off-policy algorithms.

연구 동기 및 목표

• 이론적으로 지지되는 비관적 가치 갱신(함수 근사 오차 감소)과 낙관적 탐색 간의 갈등을 해결하기 위해.
• 최적의 낙관 정도가 과제 간 및 학습 중에 다를 수 있는지 조사하기 위해.
• 온라인 피드백에 기반해 낙관적 및 비관적 가치 학습 간에 적응적으로 전환할 수 있는 방법을 개발하기 위해.
• 연속 제어를 위한 깊이 있는 비정책 강화 학습에서 샘플 효율성과 최종 성능을 향상시키기 위해.

제안 방법

• 낙관 정도 선택을 다중 손잡이 슬롯머신 문제로 공식화하여 낙관적 및 비관적 가치 갱신 간에 동적으로 선택한다.
• 즉각적인 수익 피드백에 기반해 낙관적 및 비관적 가치 추정 간 전환을 위한 학습 가능한 메커니즘을 사용한다.
• 기존 알고리즘의 구조를 유지하면서 동적 낙관 메커니즘을 깊이 있는 비정책 액터-크리틱 프레임워크에 통합한다.
• 경험 재생 버퍼를 사용한 표준 비정책 재현을 통해 에이전트를 훈련시키며, 낙관-비관 전환은 온라인에서 학습된다.
• 각 단계에서 가장 효과적인 가치 갱신 전략을 선택함으로써 이용과 탐색을 균형 잡는 슬롯머신 기반 탐색 전략을 사용한다.
• 낙관적 및 비관적 갱신을 위한 별도의 가치 추정을 유지하며, 최종 갱신은 슬롯머신 정책에 따라 선택된다.

실험 결과

연구 질문

• RQ1 다양한 연속 제어 과제 간에 최적의 낙관 정도가 달라지는가?
• RQ2 고정된 낙관 또는 비관보다 온라인에서 낙관을 적응적으로 조정하면 학습 성능이 향상되는가?
• RQ3 학습 중에 낙관적 및 비관적 가치 갱신 간에 동적으로 전환하는 데에 이점이 있는가?
• RQ4 기존의 비정책 기반 깊이 있는 강화 학습 알고리즘에 동적 낙관을 통합할 수 있는 단순하고 모듈화된 메커니즘을 설계할 수 있는가?

주요 결과

• DOPE는 다양한 어려운 연속 제어 환경에서 고정된 낙관 정도를 사용하는 최신 비정책 알고리즘들을 능가하는 성능을 보였다.
• 낙관의 동적 적응은 정적 낙관 또는 비관보다 더 빠른 학습과 더 높은 최종 성능을 이끌어냈다.
• 적응적인 불확실성 처리를 통해 탐색과 이용을 효과적으로 균형 잡음으로써 샘플 효율성이 향상되었다.
• 제안된 메커니즘은 간단하게 구현 가능하며, 다른 비정책 기반 깊이 있는 강화 학습 알고리즘으로 쉽게 확장할 수 있다.