[논문 리뷰] SBEED: Convergent Reinforcement Learning with Nonlinear Function Approximation

Bo Dai, Albert Shaw외 6명|arXiv (Cornell University)|2017. 12. 29.

Adaptive Dynamic Programming Control인용 수 120

한 줄 요약

SBEED는 Bellman 방정식을 스무딩을 포함한 프라이멀-듀얼 샐드 포인트 문제로 재구성하여 비선형 함수 근사기(예: 신경망)를 사용한 수렴 강화학습을 가능하게 한다. 연속 제어 과제에서 수렴 보장과 바람직한 실험적 결과를 제공한다.

ABSTRACT

When function approximation is used, solving the Bellman optimality equation with stability guarantees has remained a major open problem in reinforcement learning for decades. The fundamental difficulty is that the Bellman operator may become an expansion in general, resulting in oscillating and even divergent behavior of popular algorithms like Q-learning. In this paper, we revisit the Bellman equation, and reformulate it into a novel primal-dual optimization problem using Nesterov's smoothing technique and the Legendre-Fenchel transformation. We then develop a new algorithm, called Smoothed Bellman Error Embedding, to solve this optimization problem where any differentiable function class may be used. We provide what we believe to be the first convergence guarantee for general nonlinear function approximation, and analyze the algorithm's sample complexity. Empirically, our algorithm compares favorably to state-of-the-art baselines in several benchmark control problems.

연구 동기 및 목표

• 비선형 함수 근사기를 사용하는 Bellman 기반 방법의 불안정성과 발산 문제를 해결한다.
• 안정적인 최적화를 가능하게 하는 스무딩된 Bellman 연산자를 도입한다.
• 더블 샘플 문제를 피하고 오프 정책 학습을 지원하는 프라이멀-듀얼 목적식을 개발한다.
• 비선형 함수 근사(예: 신경망)에 대한 수렴 보장과 샘플 복잡도 분석을 제공한다.
• 벤치마크 제어 문제에서 실험적 성능을 보여준다.
• 연속 및 이산 작용공간 모두에 확장하고 가치 추정과 정책 최적화를 하나의 프레임으로 통합한다.

제안 방법

• Bellman 방정식을 네스테르로프 스무딩에 의한 스무딩된 엔트로피 정규화 최대값으로 재구성하여 고유 해를 가진 수축 연산자를 얻는다.
• 가치 함수 V, 정책 π, 그리고 이중 변수 ν(또는 ρ)를 연결하는 프라이멀-듀얼 목적식을 도출하여 비연속적 최대 연산자 없이 최적화를 가능하게 한다.
• 제곱 Bellman 오차를 페넬(Fenchel) 이중성으로 샐드-포인트 문제로 변환하여 더블 샘플 문제를 피한다.
• 제곱 Bellman 잔차와 분산 상쇄 이중항을 교환하는 두-플레이어(최소-극대) 목적 Lη(V,π;ρ)를 도입한다.
• V와 π의 비선형 근사기를 업데이트하기 위한 확률적 미러 분할 알고리즘(SBEED)을 개발하고 이중 업데이트를 해결 가능하게 한다.
• 정지점으로의 수렴, 일반화 경계, 스무딩 편향 및 근사 오차를 포함하는 명시적 오차 분해를 제공한다.

실험 결과

연구 질문

• RQ1 비선형 함수 근사기가 Bellman 방정식을 해결할 때 오프 정책 RL에서 수렴을 달성할 수 있는가?
• RQ2 Bellman 연산자를 스무딩하고 프라이멀-듀얼 형식을 채택하면 신경망과 함께 안정성과 수렴성을 보장하는가?
• RQ3 제안된 SBEED 프레임워크가 연속 제어 과제에서 상태-오차 대비 샘플 효율성과 로버스트성 측면에서 최첨단 베이스라인과 비교하여 어떤 성과를 보이는가?
• RQ4 스무딩 매개변수가 편향-분산 트레이드오프 및 전반적 오차에 미치는 영향은 무엇인가?
• RQ5 연구 방법이 연속 및 이산 작용공간을 하나의 목표에서 다룰 수 있는가?

주요 결과

• SBEED는 오프 정책 RL에서 일반적인 비선형 함수 근사에 대한 수렴 보장을 제공한다.
• 스무딩된 Bellman 연산자는 수축성을 유지하여 λ>0인 경우 고유한 고정점 Vλ*를 보장한다.
• 더블 샘플 문제를 피하고 확률적 그래디언트 업데이트가 가능하도록 실용적인 프라이멀-듀얼 형태를 제공한다.
• 신경망을 사용한 학습에서 안정적인 학습을 달성하고 연속 제어 벤치마크에서 바람직한 실험적 성과를 보인다.
• 스무딩 편향, 근사 오차, 통계적 오차를 포함하는 명시적 오차 분해를 통해 λ→0 및 데이터 증가 시 V*으로 수렴한다.
• SBEED는 가치 추정과 정책 최적화를 하나로 통합하고 다중 스텝 부트스트랩 및 eligibility traces를 모두 지원한다.