[논문 리뷰] A Convergent Online Single Time Scale Actor Critic Algorithm

Dotan Di Castro, Ron Meir|ArXiv.org|2009. 09. 16.

Multimedia Communication and Technology인용 수 11

한 줄 요약

이 논문은 평균 보상의 국소 최대값 주변으로 수렴하도록 보장하면서도, 액터와 크티크 업데이트에 대해 별도의 시간 스케일을 필요로 하지 않는 새로운 온라인 액터-크티크 강화학습 알고리즘을 제안한다. 기존 방법이 수렴을 위해 두 개의 별도된 시간 스케일을 요구하는 데 반해, 본 방법은 알고리즘 파라미터를 통해 수렴 주변의 크기를 제어할 수 있으며, 생물학적으로 타당한 학습 메커니즘을 제공한다.

ABSTRACT

Actor-Critic based approaches were among the first to address reinforcement learning in a general setting. Recently, these algorithms have gained renewed interest due to their generality, good convergence properties, and possible biological relevance. In this paper, we introduce an online temporal difference based actor-critic algorithm which is proved to converge to a neighborhood of a local maximum of the average reward. Linear function approximation is used by the critic in order estimate the value function, and the temporal difference signal, which is passed from the critic to the actor. The main distinguishing feature of the present convergence proof is that both the actor and the critic operate on a similar time scale, while in most current convergence proofs they are required to have very different time scales in order to converge. Moreover, the same temporal difference signal is used to update the parameters of both the actor and the critic. A limitation of the proposed approach, compared to results available for two time scale convergence, is that convergence is guaranteed only to a neighborhood of an optimal value, rather to an optimal value itself. The single time scale and identical temporal difference signal used by the actor and the critic, may provide a step towards constructing more biologically realistic models of reinforcement learning in the brain.

연구 동기 및 목표

• 액터와 크티크 업데이트에 대해 두 개의 별도된 시간 스케일이 필요 없이 수렴하는 강화학습 알고리즘을 개발하는 것.
• 기존의 이중 시간 스케일 액터-크티크 방법보다 더 약한 시간 스케일 가정 하에 수렴성을 보장하는 증명을 제공하는 것.
• 다른 신경 처리 속도가 필요 없도록 하여 보다 생물학적으로 타당한 강화학습 모델을 가능하게 하는 것.
• 알고리즘 파라미터를 통해 수렴 주변의 크기를 제어하여 실용적인 안정성을 확보하는 것.
• 더 일관된 학습 과정을 위해 액터와 크티크 구성 요소 간에 동일한 TD 신호를 사용하는 것의 통합을 이루는 것.

제안 방법

• 크티크는 선형 함수 근사를 사용하여 가치 함수를 추정하고, 시간 차이(TD) 오차에 기반해 매개변수를 업데이트한다.
• 액터는 동일한 TD 신호를 사용하여 정책 매개변수를 업데이트하며, 별도의 가치 추정 또는 신호 원천이 필요 없어진다.
• 액터와 크티크는 동일한 시간 스케일에서 동시에 업데이트되며, 이는 이전 방법에서 요구하는 느린-빠른 분리 구조를 피한다.
• 알고리즘은 정책 기반 기울기 업데이트 규칙을 사용하며, 정책 기울기는 TD 신호를 통해 추정된다.
• 수렴성은 리아푸노프 유사 분석을 통해 증명되며, 매개변수 궤적은 유계이면서 국소 최적점 주변으로 수렴함을 보여준다.
• 수렴 주변의 크기는 분석적으로 유계이며, 학습률 및 근사 오차 항과 같은 초매개변수를 통해 조절 가능함이 입증된다.

실험 결과

연구 질문

• RQ1 액터와 크티크가 동일한 시간 스케일에서 업데이트될 경우, 평균 보상의 국소 최대값으로 수렴할 수 있는가?
• RQ2 시간 스케일 분리 구조를 제거했을 때, 강화학습의 수렴 안정성과 속도에 어떤 영향을 미치는가?
• RQ3 단일 시간 스케일 액터-크티크 프레임워크에서 수렴 주변의 크기를 어떻게 제어할 수 있는가?
• RQ4 안정적으로 작동하는 방식으로, 동일한 TD 신호를 크티크의 가치 추정과 액터의 정책 개선에 모두 사용할 수 있는가?
• RQ5 이 알고리즘이 뇌의 생물학적으로 타당한 강화학습 모델을 어느 정도 지원하는가?

주요 결과

• 이중 시간 스케일 분리가 없기 때문에, 알고리즘은 정확한 최적점이 아닌 평균 보상의 국소 최대값 주변으로 수렴한다.
• 수렴 주변의 크기는 학습률 및 근사 오차 한계와 같은 알고리즘 파라미터를 통해 제어 가능하며, 이는 분석적으로 유계임이 입증되었다.
• 기존의 이중 시간 스케일 방법보다 더 약한 가정 하에 수렴성 증명이 성립하므로, 더 넓은 범위의 문제에 적용 가능하다.
• 크티크와 액터 모두 동일한 TD 신호를 사용함으로써 학습 아키텍처가 단순화되고 생물학적 타당성이 향상된다.
• 크티크가 완전히 수렴하기 전에 액터가 업데이트되는 것을 요구하지 않기 때문에 안정적인 학습 역학을 달성하며, 더 빠른 적응이 가능하다.
• 이론적 분석을 통해 매개변수 궤적이 유계이며, 정책 기울기가 작은 영역으로 수렴함을 확인하였으며, 이는 근사 최적성을 나타낸다.