[논문 리뷰] The Importance of Pessimism in Fixed-Dataset Policy Optimization

Jacob Buckman, Carles Gelada외 1명|arXiv (Cornell University)|2020. 09. 15.

Advanced Bandit Algorithms Research참고 문헌 51인용 수 23

한 줄 요약

이 논문은 고정 데이터셋 정책 최적화(FDPO)에서 낙관주의의 이론적 기반을 수립하며, 최악의 경우 가치를 최대화하는 정책을 선택하는 낙관주의 알고리즘들이 데이터셋이 불완전할 경우에도 강력한 부분최적성 보장을 달성할 수 있음을 보여준다. 저자들은 과도한 추정 오차를 야기하는 나약한 방법들이 왜 과도한 추정 오차를 야기하는지 설명하는 회귀한계를 유도하였으며, 이는 전역적으로 정보가 풍부한 데이터셋에 대한 의존도를 줄여주기 때문에, MinAtar에서의 표본 및 딥 RL 실험을 통해 검증되었다.

ABSTRACT

We study worst-case guarantees on the expected return of fixed-dataset policy optimization algorithms. Our core contribution is a unified conceptual and mathematical framework for the study of algorithms in this regime. This analysis reveals that for naive approaches, the possibility of erroneous value overestimation leads to a difficult-to-satisfy requirement: in order to guarantee that we select a policy which is near-optimal, we may need the dataset to be informative of the value of every policy. To avoid this, algorithms can follow the pessimism principle, which states that we should choose the policy which acts optimally in the worst possible world. We show why pessimistic algorithms can achieve good performance even when the dataset is not informative of every policy, and derive families of algorithms which follow this principle. These theoretical findings are validated by experiments on a tabular gridworld, and deep learning experiments on four MinAtar environments.

연구 동기 및 목표

• 고정 데이터셋 정책 최적화(FDPO)에서 최악의 성능을 분석하기 위한 통합 이론적 프레임워크를 제공하는 것.
• 최대우도추정과 동적계획법에 의존하는 나약한 FDPO 알고리즘에서 발생하는 가치 과도추정의 근본적 문제를 규명하는 것.
• 전역적으로 정보가 풍부한 데이터셋에 대한 의존도를 감소시키는 낙관주의 원칙이 해결책이 되는 이유를 정당화하는 것.
• 개선된 부분최적성 보장을 가지는 낙관주의 알고리즘의 체계적 가문을 도출하는 것.
• 표본 그리드월드와 MinAtar 환경에서의 실험을 통해 이론적 주장의 타당성을 검증하는 것.

제안 방법

• proxy 목적함수를 최적화하는 의사결정자에 대해 일반적인 회귀한계를 유도하여, 부분최적성이 과도추정 오차의 상한값에 의존함을 보여주는 것.
• 낙관주의 원칙을 최악의 기대수익을 최대화하는 정책을 선택하는 것으로 수식화하여, 과도추정의 영향을 최소화하는 것.
• 나약한 접근과 달리, 낙관주의 알고리즘은 모든 정책에 대해 데이터셋이 정보가 있어야 한다는 요구를 피하는 것.
• 이론적 경계에 기반하여 두 가지 체계적인 낙관주의 알고리즘 가문을 제안하는 것.
• MinAtar 환경에서 딥러닝 설정에서 하나의 낙관주의 알고리즘을 구현하고 평가하는 것.
• 안정적인 학습을 보장하기 위해 광범위한 초모수 튜닝과 철저한 학습 프로토콜(특히 타겟 업데이트마다 전체 네트워크 재초기화 포함)을 적용하는 것.

실험 결과

연구 질문

• RQ1 데이터셋이 모든 정책에 대해 정보가 부족할 경우, 최대우도추정과 동적계획법에 의존하는 나약한 FDPO 알고리즘이 왜 좋은 성능을 보장하지 못하는가?
• RQ2 proxy 목적함수에서의 가치 과도추정이 고정 데이터셋 강화학습에서 최악의 부분최적성에 어떻게 영향을 주는가?
• RQ3 낙관주의 원칙은 FDPO에서 전역적 데이터셋 정보성에 대한 의존도를 어떻게 감소시키는가?
• RQ4 낙관주의와 비낙관주의 FDPO 알고리즘 간의 성능 격차를 설명하는 이론적 경계를 도출할 수 있는가?
• RQ5 안정적인 성능을 보장하기 위해 낙관주의 딥러닝 RL 알고리즘의 실용적 훈련 고려사항은 무엇인가?

주요 결과

• 최대우도추정과 동적계획법을 사용하는 나약한 FDPO 알고리즘은 기능 근사가 없더라도 과도한 추정 오차로 인해 높은 최악의 부분최적성 수준을 보인다.
• 나약한 알고리즘의 회귀한계는 과도추정 오차의 상한값에 의해 결정되며, 이는 좋은 성능을 확보하기 위해 전역적으로 정보가 풍부한 데이터셋이 필요함을 의미한다.
• 낙관주의 알고리즘은 과도추정의 영향을 최소화하기 위해 최악의 가치 추정에 초점을 맞추므로 더 나은 부분최적성 보장을 달성한다.
• 이론적 경계는 낙관주의가 데이터셋의 전역적 정보성에 대한 의존도를 감소시켜, 희소한 데이터에서도 성능이 안정됨을 보여준다.
• 표본 그리드월드에서의 실험은 이론적 예측을 확인하였으며, 낙관주의 알고리즘이 제한된 데이터 하에서 나약한 알고리즘보다 뛰어난 성능을 보였다.
• MinAtar에서의 딥러닝 강화학습에서는, 특히 타겟 업데이트마다 전체 네트워크 재초기화와 충분한 내부 루프 학습 스텝 수가 낙관주의 학습의 안정성과 높은 성능을 확보하는 데 핵심적인 요소였다.