[논문 리뷰] Tactical Optimism and Pessimism for Deep Reinforcement Learning

Ted Moskovitz, Jack Parker-Holder외 3명|arXiv (Cornell University)|2021. 02. 07.

Reinforcement Learning in Robotics참고 문헌 59인용 수 11

한 줄 요약

이 논문은 전략적 낙관주의와 비관주의(TOP)를 소개한다. TOP는 가치 추정의 낙관적 및 비관적 전략을 다이나믹하게 전환할 수 있도록, 다중 손잡이 슬롯머신 문제로 선택 과정을 모델링한 새로운 딥 액터-크리틱 프레임워크이다. TOP는 고정된 낙관주의 전략을 사용하는 기존 방법들을 능가하며, 실시간 불확실성 추정 기반으로 탐색과 이용을 적절히 균형 잡는 방식으로 도전적인 픽셀 기반 연속 제어 과제에서 새로운 최고 성능 기록을 수립한다.

ABSTRACT

In recent years, deep off-policy actor-critic algorithms have become a dominant approach to reinforcement learning for continuous control. One of the primary drivers of this improved performance is the use of pessimistic value updates to address function approximation errors, which previously led to disappointing performance. However, a direct consequence of pessimism is reduced exploration, running counter to theoretical support for the efficacy of optimism in the face of uncertainty. So which approach is best? In this work, we show that the most effective degree of optimism can vary both across tasks and over the course of learning. Inspired by this insight, we introduce a novel deep actor-critic framework, Tactical Optimistic and Pessimistic (TOP) estimation, which switches between optimistic and pessimistic value learning online. This is achieved by formulating the selection as a multi-arm bandit problem. We show in a series of continuous control tasks that TOP outperforms existing methods which rely on a fixed degree of optimism, setting a new state of the art in challenging pixel-based environments. Since our changes are simple to implement, we believe these insights can easily be incorporated into a multitude of off-policy algorithms.

연구 동기 및 목표

• 다양한 환경에서 낙관주의와 비관주의 사이의 갈등을 해결하기 위해, 고정 전략이 다양한 환경에서 성능을 제한한다는 점을 다루기 위함.
• 값의 낙관 정도가 과제 간으로나 학습 과정 내내 달라지는지 조사하여, 일률적인 접근 방식에 대한 가정을 도전하기 위함.
• 사전 설정된 초모수 조정이 거의 필요 없이 실시간으로 가치 추정 전략을 온라인으로 적응시킬 수 있는 실용적이고 즉각 통합 가능한 방법 개발을 목표로 함.
• 알레아토릭 및 엡스테믹 불확실성에 기반한 적응형 낙관/비관 전략이 더 높은 샘플 효율성과 최종 성능을 달성할 수 있음을 입증하기 위함.

제안 방법

• TOP는 낙관 정도 수준 선택을 다중 손잡이 슬롯머신 문제로 모델링하며, 각 손잡이가 다른 값의 낙관 하이퍼파라미터 β에 대응한다.
• 환경 수익의 알레아토릭 불확실성을 모델링하기 위해 양자점 표현을 사용하는 분포 기반 크리틱을 사용한다.
• 에피스테믹 불확실성은 크리틱의 앙상블을 통해 포괄적으로 측정하여 가치 함수 분산을 안정적으로 추정한다.
• 슬롯머신 알고리즘은 각 낙관 수준의 성능 피드백을 기반으로 실시간으로 β를 선택하여, 가치 추정 전략에 대한 탐색과 이용을 균형 잡는다.
• 기존의 오프-폴리시 알고리즘에 쉽게 통합될 수 있도록 설계되었으며, 코드 수정이 최소한으로 필요하다.
• 표준 벤치마크와 기준선을 사용하여 상태 기반 및 픽셀 기반 연속 제어 과제에서 TOP을 평가한다.

실험 결과

연구 질문

• RQ1 값 함수 근사에서 최적의 낙관 정도가 다양한 강화학습 환경 간에 달라지는가?
• RQ2 주어진 환경에서 학습 과정 내내 최적의 낙관 정도가 변화하는가?
• RQ3 낙관과 비관 전략을 동적으로 전환하는 전략이 고정된 낙관 또는 비관 기반 베이스라인을 능가할 수 있는가?
• RQ4 알레아토릭 및 엡스테믹 불확실성은 가치 추정에서 낙관의 효과성에 어떤 영향을 미치는가?

주요 결과

• TOP는 딥마인드 컨트롤 스위트의 모든 6개 과제에서 최신 기술(SOTA)을 능가하며, 픽셀 기반 벤치마크에서 새로운 최고 기록을 수립했다. RAD, DrQ, PI-SAC, CURL과 같은 기존 기법들을 모두 앞서간다.
• HalfCheetah 환경에서 TOP는 고정된 낙관 기반 베이스라인과 동일한 성능을 달성하여, 유리한 상황에서는 더 낙관적인 전략을 성공적으로 채택함을 보여준다.
• Hopper 환경에서 TOP는 고정된 비관 기반 베이스라인과 동일한 성능을 달성하여, 필요에 따라 더 신중한 접근 방식으로 적응함을 입증한다.
• Ant 환경에서 TOP는 학습 중반 무렵에 비관에서 낙관으로 전환하는 동적 변화를 보이며, 변화하는 불확실성에 비단순적인 방식으로 적응함을 보여준다.
• 슬롯머신 기반의 β 선택 전략은 후행적으로 가장 우수한 고정 β 선택 수준에 못지않는 성능을 달성하여, 적응 전략의 효과성을 입증한다.
• TOP는 구현 변경이 극히 적어, RAD와 같은 기존 알고리즘에 몇 줄의 코드만 추가하면 되어 광범위하게 적용 가능하다.