[논문 리뷰] Beyond variance reduction: Understanding the true impact of baselines on policy optimization

Wesley Chung, Valentin Thomas외 2명|arXiv (Cornell University)|2020. 08. 31.

Advanced Bandit Algorithms Research참고 문헌 35인용 수 4

한 줄 요약

이 논문은 정책 최적화에서의 베이스라인 선택이 분산 감소를 초과하여 수렴에 영향을 미친다는 것을 보여주며, 음수 베이스라인은 정책의 조기 고착을 유도하고, 양수 베이스라인은 탐색을 유지한다. 심지어 동일한 기울기 분산을 가질 때조차도, 베이스라인 선택이 자연 정책 기울기 방법이 최적 정책으로 수렴하지 못하게 만들 수 있음을 입증하여 강화학습에서 표준 최적화 가정을 도전한다.

ABSTRACT

Bandit and reinforcement learning (RL) problems can often be framed as optimization problems where the goal is to maximize average performance while having access only to stochastic estimates of the true gradient. Traditionally, stochastic optimization theory predicts that learning dynamics are governed by the curvature of the loss function and the noise of the gradient estimates. In this paper we demonstrate that this is not the case for bandit and RL problems. To allow our analysis to be interpreted in light of multi-step MDPs, we focus on techniques derived from stochastic optimization principles (e.g., natural policy gradient and EXP3) and we show that some standard assumptions from optimization theory are violated in these problems. We present theoretical results showing that, at least for bandit problems, curvature and noise are not sufficient to explain the learning dynamics and that seemingly innocuous choices like the baseline can determine whether an algorithm converges. These theoretical findings match our empirical evaluation, which we extend to multi-state MDPs.

연구 동기 및 목표

• 분산 감소를 초월하여 베이스라인이 정책 최적화 다이내믹스에 미치는 영향을 조사하기.
• 밴딧 및 MDP 설정에서 학습 다이내믹스를 결정하는 데 곡률과 기울기 노이즈가 유일한 요소라는 가정을 도전하기.
• 자연 정책 기울기 방법이 베이스라인 선택으로 인해 수렴하지 못하는 조건을 특정하기.
• 정책 내 샘플링이 악화된 업데이트와 열악한 정책 간 피드백 루프를 통해 수렴 문제를 유도하는 역할을 분석하기.
• 충분한 행동 커버리지가 있는 비정책 샘플링을 통해 수렴의 확률적 보장을 보장하는 해결책 제안하기.

제안 방법

• 다중 암 뱅딧 및 MDP 설정에서의 확률적 기울기 방법에 대한 이론적 분석을 통해 자연 정책 기울기와 EXP3에 집중하기.
• 다양한 베이스라인 선택 하에서 기울기 분산과 편향을 유도하여, 최소 분산 베이스라인에서 대칭적으로 옮겨진 베이스라인들 간에 동일한 분산을 가짐을 보여주기.
• 최소 분산 베이스라인이 어떤 양의 스텝 사이즈에서도 하위최적 정책으로 수렴하게 하는 3암 뱅딧 반례를 구성하기.
• 정책 내 샘플링에서 발생하는 베이스라인 의존 피드백 루프를 도입하여, 열악한 업데이트가 정책 품질을 악화시키고, 악화된 정책이 더 열악한 업데이트를 유도함으로써 수렴을 저해하는 메커니즘 분석하기.
• 제안된 해결책: 균일한 행동 확률을 가진 비정책 샘플링을 통해 샘플링과 정책 업데이트를 분리하고 확률적 수렴 보장하기.
• 이론적 증명을 통해 비정책 샘플링에서 충분한 행동 커버리지가 확보되면, 베이스라인 선택과 관계없이 최적 정책으로의 수렴을 보장함을 입증하기.

실험 결과

연구 질문

• RQ1 베이스라인 선택이 기울기 분산과는 독립적으로 정책 최적화 수렴에 영향을 미칠 수 있는가?
• RQ2 동일한 기울기 분산을 가질 때조차도 일부 베이스라인이 조기 정책 고착을 유도하고 다른 베이스라인이 탐색을 유지하는 이유는 무엇인가?
• RQ3 낮은 분산을 가질지라도, 베이스라인 선택으로 인해 자연 정책 기울기 방법이 최적 정책으로 수렴하지 못할 수 있는가?
• RQ4 정책 내 샘플링이 수렴을 저해하는 피드백 루프를 어떻게 만들어내는가?
• RQ5 충분한 행동 커버리지가 있는 비정책 샘플링이 확률적 수렴을 보장하는 데에 충분한가?

주요 결과

• 동일한 기울기 분산을 가진 두 베이스라인은 질적으로 다른 학습 다이내믹스를 초래할 수 있다: 하나는 빠르게 결정론적 하위최적 정책으로 수렴하게 하고, 다른 하나는 탐색과 엔트로피를 유지한다.
• 3암 뱅딧 예제는 최소 분산 베이스라인이 어떤 양의 스텝 사이즈에서도 자연 정책 기울기 방법이 하위최적 정책으로 수렴하게 함을 입증한다.
• 표준 가정 하에서 자연 정책 기울기 방법의 실패는 밴딧 및 MDP 문제에서 곡률과 노이즈만으로는 학습 다이내믹스를 설명할 수 없음을 시사한다.
• 정책 내 샘플링은 악화된 업데이트가 더 열악한 정책을 만들어내고, 그 정책이 다시 더 열악한 업데이트를 유도하는 악순환을 만들어 내어 수렴을 약화시킨다.
• 모든 행동이 유한한 확률로 샘플링되는 충분한 행동 커버리지가 있는 비정책 샘플링은 최적 정책으로의 수렴을 확률적으로 보장한다.
• 이론적 분석은 베이스라인이 자연 정책 기울기 추정기의 편향에 영향을 주지 않음을 확인했지만, 비볼록성과 피드백 다이내믹스로 인해 여전히 수렴 행동을 변화시킴을 밝혀냈다.