[논문 리뷰] Deep Reinforcement Learning via L-BFGS Optimization

Jacob Rafati, Roummel F. Marcia|arXiv (Cornell University)|2018. 11. 06.

Reinforcement Learning in Robotics참고 문헌 33인용 수 5

한 줄 요약

이 논문은 확률적 경사하강법(SGD)의 대안으로 L-BFGS 준뉴턴 최적화 방법을 사용하는 딥 강화학습 프레임워크를 제안한다. 기울기 정보로부터 저질서 헤시안 근사값을 활용함으로써, 안정적인 수렴, 빠른 학습(200만 스텝 기준 3시간 이내), 경험 재생 메모리가 필요 없음을 보장하며, Atari 2600 게임에서 여러 이전 방법보다 핵심 지표에서 뛰어난 성능을 기록한다.

ABSTRACT

Reinforcement Learning (RL) algorithms allow artificial agents to improve their action selections so as to increase rewarding experiences in their environments. Deep Reinforcement Learning algorithms require solving a nonconvex and nonlinear unconstrained optimization problem. Methods for solving the optimization problems in deep RL are restricted to the class of first-order algorithms, such as stochastic gradient descent (SGD). The major drawback of the SGD methods is that they have the undesirable effect of not escaping saddle points and their performance can be seriously obstructed by ill-conditioning. Furthermore, SGD methods require exhaustive trial and error to fine-tune many learning parameters. Using second derivative information can result in improved convergence properties, but computing the Hessian matrix for large-scale problems is not practical. Quasi-Newton methods require only first-order gradient information, like SGD, but they can construct a low rank approximation of the Hessian matrix and result in superlinear convergence. The limited-memory Broyden-Fletcher-Goldfarb-Shanno (L-BFGS) approach is one of the most popular quasi-Newton methods that construct positive definite Hessian approximations. In this paper, we introduce an efficient optimization method, based on the limited memory BFGS quasi-Newton method using line search strategy -- as an alternative to SGD methods. Our method bridges the disparity between first order methods and second order methods by continuing to use gradient information to calculate a low-rank Hessian approximations. We provide formal convergence analysis as well as empirical results on a subset of the classic ATARI 2600 games. Our results show a robust convergence with preferred generalization characteristics, as well as fast training time and no need for the experience replaying mechanism.

연구 동기 및 목표

• 확률적 경사하강법(SGD)의 한계, 즉 느린 수렴, 하이퍼파rameter에 대한 민감성, 안정성 부족한 안장점 탈출 문제를 해결하기 위해.
• 완전한 헤시안 행렬 계산의 대안으로서 확장 가능한 2차 최적화 방법으로 준뉴턴 방법을 탐색하기 위해.
• L-BFGS를 통해 효율적이고 안정적인 학습을 가능하게 함으로써 경험 재생 메모리가 필요 없도록 하기 위해.
• 표준 Atari 2600 환경에서 L-BFGS 기반 딥 Q-학습의 성능을 평가하기 위해.
• 곡률 인식 최적화가 비볼록 딥 강화학습 문제에서 수렴성과 일반화 성능을 향상시킨다는 것을 입증하기 위해.

제안 방법

• 기울기 정보만을 사용하여 헤시안 행렬을 근사하는 제한된 메모리 BFGS(L-BFGS) 준뉴턴 방법을 사용한다.
• 손실 함수의 충분한 감소를 보장하기 위해 각 반복에서 스텝 크기를 결정하는 선 탐색 전략을 적용한다.
• 명시적 헤시안 행렬 계산 없이도 곡률 정보를 반영하는 저질서, 정정의 헤시안 근사값을 구성한다.
• 상태-행동 가치 추정을 위한 함수 근사와 함께 딥 Q-네트워크(DQN)를 학습하기 위해 이 방법을 적용한다.
• 경험 재생의 메모리 오버헤드를 피하기 위해 GPU 기반 병렬 계산을 통해 알고리즘을 구현한다.
• 실험에서 배치 크기 b ∈ {512, 1024, 2048, 4096}와 L-BFGS 메모리 크기 m ∈ {20, 40, 80}를 사용한다.

실험 결과

연구 질문

• RQ1 L-BFGS 최적화는 딥 강화학습에서 SGD보다 더 빠르고 안정적인 학습을 달성할 수 있는가?
• RQ2 L-BFGS를 통해 곡률 정보를 활용하면 Atari 2600 게임에서 일반화 성능과 테스트 성능이 향상되는가?
• RQ3 L-BFGS를 통해 경험 재생 메모리가 필요 없이도 성능을 유지하거나 향상시킬 수 있는가?
• RQ4 L-BFGS 알고리즘의 다양한 배치 크기와 메모리 크기에서 L-BFGS 방법의 성능은 어떻게 되는가?
• RQ5 L-BFGS 기반 딥 강화학습은 하이퍼파rameter 조정 없이도 다양한 Atari 환경에서 높은 점수로 안정적으로 수렴하는가?

주요 결과

• L-BFGS 방법은 모든 6종의 Atari 2600 게임에서 안정적인 학습을 달성했으며, 다양한 배치 크기와 메모리 설정에서도 일관된 성능을 보였다.
• 200만 스텝 기준 학습 시간이 3시간 이내였으며, TRPO(500회 반복 기준 30시간) 및 기타 방법보다 뚜렷이 빠르게 학습이 진행되었다.
• Space Invaders 게임에서 DQN(581점)과 TRPO(568점)를 모두 초월해 955점의 점수를 기록했다.
• Beam Rider(1380점), Breakout(18점), Q*bert(1525점)에서도 뛰어난 성능을 기록했으며, Sarsa 및 조건 의식 기반 방법보다 뛰어났다.
• 학습 시간과 배치 크기 또는 L-BFGS 메모리 크기 간 상관관계가 없었으며, 이는 안정적이고 예측 가능한 성능을 의미한다.
• 낮은 제곱 시간차분(STD) 오차를 기록했고, 경험 재생이 필요 없었으며, 이로 인해 메모리 사용량이 감소하고 학습 과정이 단순화되었다.