[논문 리뷰] Anderson Acceleration for Reinforcement Learning

Geist, Matthieu, Bruno Scherrer|arXiv (Cornell University)|2018. 09. 25.

Reinforcement Learning in Robotics참고 문헌 13인용 수 10

한 줄 요약

이 논문은 과거 반복값을 활용하여 보다 최적의 다음 추정치를 계산함으로써 강화학습에서 값 반복의 수렴 속도를 높이기 위해 앤더슨 가속을 도입한다. 初기 실험에서 수렴 속도가 크게 향상됨을 확인하였다. 이 방법은 근사적 및 딥 강화학습으로 일반화 가능하며, 동적 프rogramming 및 정책 최적화에 대한 유망한 가속 기법을 제공한다.

ABSTRACT

Anderson acceleration is an old and simple method for accelerating the computation of a fixed point. However, as far as we know and quite surprisingly, it has never been applied to dynamic programming or reinforcement learning. In this paper, we explain briefly what Anderson acceleration is and how it can be applied to value iteration, this being supported by preliminary experiments showing a significant speed up of convergence, that we critically discuss. We also discuss how this idea could be applied more generally to (deep) reinforcement learning.

연구 동기 및 목표

• 고정점 계산을 가속화하는 방법인 앤더슨 가속을 강화학습, 특히 값 반복에 적용하기 위해.
• 앤더슨 가속이 동적 프로그래밍 및 강화학습 알고리즘의 수렴 속도를 크게 향상시킬 수 있는지 조사하기 위해.
• DQN 및 정책 최적화와 같은 근사적 및 딥 강화학습 환경에 앤더슨 가속을 적용할 수 있도록 확장하기 위해.
• 정책 평가 및 수정된 정책 반복 프레임워크에서 앤더슨 가속의 적용 가능성을 탐색하기 위해.
• 기존 강화학습 알고리즘에 앤더슨 가속을 통합하기 위한 이론적 및 실증적 기반을 제공하기 위해.

제안 방법

• 앤더슨 가속은 지난 $ m+1 $개의 값 함수 추정치와 그에 해당하는 벨먼 연산자 출력값의 가중 조합을 통해 새로운 추정치를 계산하며, 이러한 추정치들이 생성하는 부분공간에서 잔차를 최소화한다.
• 계수 $ oldsymbol{eta}^{k+1} $ 는 제약 조건이 있는 최소 제곱 문제를 풀어 계산된다: $ oldsymbol{eta}^{k+1} = \text{argmin}_{\boldsymbol{\beta}} \big\bracevert \boldsymbol{\beta}^\top \boldsymbol{\theta} \big\bracevert_2 $, 제약 조건은 $ \boldsymbol{1}^\top \boldsymbol{\beta} = 1 $ 이며, 여기서 $ \boldsymbol{\theta}_i = T v_{k-m+i} - v_{k-m+i} $ 이다.
• 계수 $ \boldsymbol{\beta} $ 최적화를 위해, $ \boldsymbol{\beta}^{k+1} = \frac{(\boldsymbol{\theta}^\top \boldsymbol{\theta})^{-1} \boldsymbol{1}}{\boldsymbol{1}^\top (\boldsymbol{\theta}^\top \boldsymbol{\theta})^{-1} \boldsymbol{1}} $ 공식을 사용해 해석적으로 유도되며, 이는 효율적인 계산을 가능하게 한다.
• 이 방법은 $ v_{k+1} = \boldsymbol{\beta}^{k+1\top} T \boldsymbol{v}_{k-m}^{k} $ 를 사용하여 값 반복에 적용되며, 최근 $ m $개의 반복값과 그 잔차를 활용한다.
• 이 방법은 DQN의 타겟을 수정하여 근사적 강화학습으로 확장된다: $ y_i = \boldsymbol{\beta}^{k+1\top} \big( r_i + \tilde{\boldsymbol{Q}}_k(s_i', a_i') \big) $, 과거 타겟 네트워크의 가중 조합을 사용한다.
• 이 방법은 또한 정책 최적화에 적용되며, 기울기 상승 단계를 고정점 반복으로 간주하여 이를 가속화한다.

실험 결과

연구 질문

• RQ1 앤더슨 가속은 MDP의 값 반복에서 수렴에 필요한 반복 횟수를 크게 줄일 수 있는가?
• RQ2 수렴 속도와 안정성 측면에서 표준 값 반복 대비 앤더슨 가속의 성능은 어떠한가?
• RQ3 앤더슨 가속은 DQN와 같은 근사적 동적 프로그래밍 방법에 효과적으로 적용될 수 있는가?
• RQ4 기울기 업데이트를 고정점 반복으로 간주할 때, 앤더슨 가속은 정책 최적화에 적용 가능한가?
• RQ5 딥 강화학습 프레임워크에 앤더슨 가속을 통합할 때의 실용적 과제와 계산적 트레이드오프는 무엇인가?

주요 결과

• 초기 실험을 통해 앤더슨 가속은 값 반복의 수렴 속도를 크게 향상시킴을 입증하였다.
• 여러 과거 반복값의 정보를 활용함으로써 고정점에 도달하기 위한 반복 횟수를 줄여 수렴 속도를 향상시킨다.
• 기본 벨먼 연산자를 수정하지 않기 때문에, 기존 반복적 강화학습 알고리즘에 즉각 통합 가능한 플러그인 개선 기법이다.
• 근사적 강화학습, 예를 들어 DQN에 대해서는 과거 타겟 네트워크의 가중 조합을 사용해 타겟 계산을 수정함으로써 자연스럽게 일반화된다.
• 기울기 상승 단계를 고정점 반복으로 간주함으로써 정책 최적화에 앤더슨 가속을 적용할 수 있으며, 더 빠른 정책 학습을 위한 새로운 길을 열어준다.
• 최소한의 최소 제곱 문제를 잔차 벡터에 대해 풀기 때문에, $ m $ 이 작을 경우 계산적으로 효율적이다.