[논문 리뷰] Convergence Guarantees for Deep Epsilon Greedy Policy Learning

Michael Rawson, Radu Bălan|arXiv (Cornell University)|2021. 12. 02.

Advanced Bandit Algorithms Research인용 수 6

한 줄 요약

이 논문은 비선형 함수 근사와 딥 뉴럴 네트워크를 사용한 컨텍스트 밴딧에서 딥 에프실론 그레디언트 정책 학습의 이론적 수렴 보장을 제공한다. 탐색 비율 $\epsilon_t = 1/t^{1/3}$을 사용할 경우 기대적 손실이 거의 확실히 0으로 수렴함을 증명하였으며, MNIST 기반의 비선형 강화 학습 작업을 통해 이론적 결과를 실증적으로 검증하였다. 이 경우 깊이 있는 네트워크는 수렴하는 반면, 간단한 네트워크는 그렇지 않다.

ABSTRACT

Policy learning is a quickly growing area. As robotics and computers control day-to-day life, their error rate needs to be minimized and controlled. There are many policy learning methods and bandit methods with provable error rates that accompany them. We show an error or regret bound and convergence of the Deep Epsilon Greedy method which chooses actions with a neural network's prediction. We also show that Epsilon Greedy method regret upper bound is minimized with cubic root exploration. In experiments with the real-world dataset MNIST, we construct a nonlinear reinforcement learning problem. We witness how with either high or low noise, some methods do and some do not converge which agrees with our proof of convergence.

연구 동기 및 목표

• 딥 뉴럴 네트워크를 사용한 비선형 함수 근사 하에서 딥 에프실론 그레디언트 정책 학습의 이론적 수렴 보장을 확립하기.
• 신경망 근사 오차가 존재하는 상황에서 손실를 최소화하는 최적의 탐색 스케줄링 $\epsilon_t$를 결정하기.
• MNIST 데이터셋 기반의 비선형 컨텍스트 밴딧 설정을 통해 이론적 결과를 실증적으로 검증하기.
• 모델 용량(예: 신경망의 깊이)이 수렴에 미치는 영향을 보여주며, 얕은 네트워크가 적절한 탐색을 하더라도 수렴하지 못함을 입증하기.

제안 방법

• 시간에 따라 변하는 탐색 비율 $\epsilon_t = 1/t^p$를 사용하는 딥 에프실론 그레디언트, 여기서 $p$는 수렴을 최적화하기 위해 최적화됨.
• 각 행동 $j$에 대해 독립적인 신경망 $\Phi_j$를 사용하며, 이는 이전의 상태-행동-보상 튜플을 기반으로 기대 보상을 예측하기 위해 훈련됨.
• 입력과 출력이 유계된 조건 하에서 Gy€rfi 등(2002)의 신경망 일반화 경계를 활용해 근사 오차를 통제함.
• 농도 불등식과 $K$개의 행동에 대한 유니온 바운드를 사용하여 고확률 손실 경계를 유도함.
• 이상적 손실 비율을 최소화하기 위해 수정된 탐색 비율 $\epsilon_t = 1/t^{1/3}$을 도입함.
• 각 행동 전용 네트워크를 20단계마다 업데이트하며, 16에포크와 초기 학습률 $10^{-3}$을 사용한 미니배치 SGD를 적용함.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크 함수 근사와 함께 딥 에프실론 그레디언트를 사용할 때, 손실 경계를 최소화하는 데 최적의 탐색 비율 $\epsilon_t$는 무엇인가요?
• RQ2 비선형 컨텍스트 밴딧 환경에서 딥 에프실론 그레디언트 방법이 최적 정책으로 수렴하기 위한 조건은 무엇인가요?
• RQ3 신경망의 용량(예: 깊이)은 실질적으로 수렴과 손실에 어떤 영향을 미치나요?
• RQ4 왜 선형 모델(예: LinUCB, 선형 회귀)은 MNIST 기반의 밴딧 작업과 같은 비선형 문제에서 실패합니까?
• RQ5 이론적 손실 경계는 실제 노이즈가 있고 비선형적인 환경에서의 실증 성능과 일치합니까?

주요 결과

• 최적의 탐색 비율 $\epsilon_t = 1/t^{1/3}$은 이론적 손실 경계를 최소화하며, 수렴 속도는 $t^{-1/3}$을 달성함.
• 탐색 비율 $\epsilon_t = 1/t$일 경우 손실 경계는 $t^{-1} + \sqrt{\frac{\ln \ln t}{\ln t}}$ 비율로 감소하며, 이는 $p=1/3$일 때의 $t^{-1/3}$ 비율보다 느림.
• 세 개의 합성곱 층을 가진 딥 에프실론 그레디언트 방법은 저소음 및 고소음 MNIST 실험 모두에서 최적 정책으로 수렴하며, 정규화된 보상이 최적에 가까워짐.
• 단일 완전 연결 층을 가진 단순한 딥 에프실론 그레디언트 방법은 동일한 탐색 스케줄링을 사용함에도 불구하고 모델 용량이 부족하여 수렴하지 못함.
• 선형 모델(LinUCB, 선형 회귀)과 균일한 랜덤 정책은 비선형 MNIST 작업에서 성능이 열 劣하며, 이는 선형 함수 근사가 비선형 보상 구조에 부적합함을 확인함.
• 딥 네트워크 버전의 실증적 손실 수렴 속도는 이론적 예측과 일치하며, 정규화된 손실 감소 비율이 약 $t^{-1/2}$로 측정되었으며, 이는 이론적 $t^{-1/3}$ 경계와 일관됨.