[논문 리뷰] Distributional reinforcement learning with linear function approximation

Marc G. Bellemare, Nicolas Le Roux외 2명|arXiv (Cornell University)|2019. 02. 08.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 선형 함수 근사와 함께 C51의 소프트맥스와 KL 손실을 대체하는 Cramér 기반 분포 강화 학습 알고리즘을 제안한다. 임의의 실수 벡터에 대해 Cramér 거리의 직접 최소화를 통해 구현한다. 분포 강화 학습에 대한 첫 번째 공식 수렴 증명을 제공하지만, 변동성이 증가하고 확률적 출력이 아니므로 표준 가치 함수 근사보다 성능이 열 劣할 수 있음을 경험적으로 보여준다.

ABSTRACT

Despite many algorithmic advances, our theoretical understanding of practical distributional reinforcement learning methods remains limited. One exception is Rowland et al. (2018)'s analysis of the C51 algorithm in terms of the Cramér distance, but their results only apply to the tabular setting and ignore C51's use of a softmax to produce normalized distributions. In this paper we adapt the Cramér distance to deal with arbitrary vectors. From it we derive a new distributional algorithm which is fully Cramér-based and can be combined to linear function approximation, with formal guarantees in the context of policy evaluation. In allowing the model's prediction to be any real vector, we lose the probabilistic interpretation behind the method, but otherwise maintain the appealing properties of distributional approaches. To the best of our knowledge, ours is the first proof of convergence of a distributional algorithm combined with function approximation. Perhaps surprisingly, our results provide evidence that Cramér-based distributional methods may perform worse than directly approximating the value function.

연구 동기 및 목표

• C51에서 사용하는 소프트맥스와 KL 손실에 의존하지 않는 이론적으로 탄탄한 분포 강화 학습 알고리즘을 개발하기 위해.
• 임의의 실수 벡터에 대해 Cramér 거리를 일반화하여 함수 근사 설정에서의 활용을 가능하게 하기 위해.
• 정책 평가 설정에서 선형 함수 근사와 결합된 분포 강화 학습에 대한 공식 수렴 보장을 제공하기 위해.
• 함수 근사와 결합된 분포 방법이 표준 가치 함수 근사보다 우월한 성능을 낼 수 있는지 조사하기 위해.

제안 방법

• 모델 출력을 비정규 확률 분포로 간주함으로써, 임의의 실수 벡터를 다룰 수 있도록 Cramér 거리를 수정한다.
• 표본 기반 벨만 연산자에 대해 경사하강법을 사용하여 수정된 Cramér 거리를 직접 최소화하는 새로운 분포 강화 알고리즘을 제안한다.
• 가중치가 확률적 경사하강법으로 업데이트되는 선형 함수 근사기를 사용하여 가치 분포를 표현한다.
• 학습을 안정화하고, 출력이 정규화되어 있지 않더라도 수렴을 보장하기 위해 정규화 페널티를 도입한다.
• 표준 선형 함수 근사 가정 하에 이론적 수렴 경계를 유도하며, 최대 Cramér 거리 측도에서의 수렴을 보여준다.
• Dopamine 프레임워크를 사용하여 S51(이름)을 C51 및 DQN과 비교하여 구현하고 평가한다.

실험 결과

연구 질문

• RQ1 소프트맥스나 KL 발산에 의존하지 않고 Cramér 거리를 최소화하는 분포 강화 학습 알고리즘을 구성할 수 있는가?
• RQ2 선형 함수 근사와 결합된 분포 강화 학습 알고리즘의 수렴을 공식적으로 증명할 수 있는가?
• RQ3 Cramér 거리를 최소화하는 것이 직접 기대값을 근사하는 것보다 더 우수한 성능을 낼 수 있는가?
• RQ4 제안된 방법의 예측 분포는 C51와 질적으로 어떻게 다를까?
• RQ5 정규화는 함수 근사와 함께 사용되는 분포 강화 학습의 안정성과 성능에 어떤 역할을 하는가?

주요 결과

• 제안된 S51 알고리즘은 표준 선형 함수 근사 조건 하에서 수렴을 달성하며, 함수 근사와 함께 사용되는 분포 강화 학습에 대한 첫 번째 공식 수렴 증명을 제공한다.
• 수렴은 이루어지지만, S51의 성능 경계는 표준 가치 함수 근사 알고리즘보다 열 劣하여, 분포 모델링으로 인한 성능 저하 가능성을 시사한다.
• S51는 다섯 개의 Atari 게임 중 세 개에서 C51와 유사한 성능을 달성하여, 정규화 없이도 분포 학습이 여전히 효과적일 수 있음을 보여준다.
• S51 모델은 음수 확률 밀도와 0 근처에서 상쇄 보정이 이루어지는 다양한 비확률적 분포를 생성하며, 이는 소프트맥스 제약으로 인해 C51에서는 관찰되지 않는 행동이다.
• S51에서는 소프트맥스 압축 효과가 없어 모든 수익에 걸쳐 더 노이지한 예측이 발생하며, 이는 변동성 증가와 샘플 효율성 감소에 기여할 수 있다.
• 경험적 결과는 C51의 성능 이점이 손실 함수의 우수성 외에도 정규화 및 확률 제약의 정규화 효과 때문일 수 있음을 시사한다.