[논문 리뷰] Using a Logarithmic Mapping to Enable Lower Discount Factors in Reinforcement Learning

Harm van Seijen, Mehdi Fatemi외 1명|arXiv (Cornell University)|2019. 06. 03.

Reinforcement Learning in Robotics참고 문헌 18인용 수 9

한 줄 요약

이 논문은 Q-값 추정을 로그 공간으로 매핑하여 상태 공간 전반에 걸쳐 액션 갭을 균일화함으로써, 딥 강화 학습에서 낮은 할인 인자를 효과적으로 사용할 수 있도록 하는 LogDQN을 제안한다. 액션 갭 크기의 분산을 줄임으로써 LogDQN은 어려운 희박 보상 작업, 특히 Atari 게임에서 뛰어난 성능을 달성한다. 특히 γ = 0.96일 때 기존 DQN 및 기준 모델들을 능가하는 인간 정규화 점수를 기록한다.

ABSTRACT

In an effort to better understand the different ways in which the discount factor affects the optimization process in reinforcement learning, we designed a set of experiments to study each effect in isolation. Our analysis reveals that the common perception that poor performance of low discount factors is caused by (too) small action-gaps requires revision. We propose an alternative hypothesis that identifies the size-difference of the action-gap across the state-space as the primary cause. We then introduce a new method that enables more homogeneous action-gaps by mapping value estimates to a logarithmic space. We prove convergence for this method under standard assumptions and demonstrate empirically that it indeed enables lower discount factors for approximate reinforcement-learning methods. This in turn allows tackling a class of reinforcement-learning problems that are challenging to solve with traditional methods.

연구 동기 및 목표

• 낮은 할인 인자가 이론적으로는 유리한 바에도 불구하고 근사 강화 학습에서 일반적으로 성능이 열악한 이유를 조사하는 것.
• 함수 근사 설정에서 낮은 할인 인자를 사용할 때 성능이 열등해지는 근본 원인을 규명하는 것.
• 상태 공간 전반에 걸쳐 액션 갭 크기를 균일화함으로써 낮은 할인 인자를 효과적으로 사용할 수 있도록 하는 방법을 개발하는 것.
• 기본 강화 학습 가정 하에 제안된 방법의 수렴성을 증명하는 것.
• 제안된 방법이 어려운 희박 보상 환경에서 더 뛰어난 성능을 내는지 경험적으로 검증하는 것.

제안 방법

• 상태 간 액션 갭 크기의 차이를 줄이기 위해 Q-값 추정을 가속 가능한 변환을 사용해 로그 공간으로 매핑하는 방법.
• 양의 Q-값과 음의 Q-값을 각각 처리하는 듀얼 헤드 아키텍처를 사용하며, 안정성을 유지하기 위해 서로 다른 기저 값으로 초기화한다.
• 변환된 값에 대해 L2 손실을 최소화하는 방식으로 로그 공간에서 시간 차분 학습을 적용하는 업데이트 규칙.
• 학습의 안정성과 발산 방지를 위해 가속 가능한 스케일링 인자 c와 로그 정규화 항을 사용한다.
• 유한 보상과 함수 근사가 가능한 조건 하에서 표준 가정에 따라 수렴성이 증명된다.
• DQN에 통합하여 LogDQN로 구현하고, 스티키 액션을 적용한 스토케스틱 Atari 환경에서 평가한다.

실험 결과

연구 질문

• RQ1 유한 수명 목표에서 낮은 할인 인자가 이론적으로나 유리한 바에도 불구하고 근사 강화 학습에서 일반적으로 실패하는 이유는 무엇인가?
• RQ2 함수 근사와 함께 낮은 할인 인자를 사용할 때 성능 저하의 주요 원인은 무엇인가?
• RQ3 가장 값 함수 공간의 변환으로 이질적인 액션 갭의 영향을 완화할 수 있는가?
• RQ4 로그 공간에서의 학습은 낮은 할인 인자를 사용할 때 안정적이고 효과적인 학습을 가능하게 하는가?
• RQ5 제안된 방법은 Atari 게임과 같은 희박 보상 환경에서 표준 DQN 및 기존 기준 모델을 능가할 수 있는가?

주요 결과

• LogDQN는 55개의 Atari 게임에서 인간 정규화 평균 점수 106.5%를 기록하여 DQN 및 다른 기준 모델들을 크게 능가한다.
• 이 방법을 통해 γ = 0.96를 효과적으로 사용할 수 있었으며, 이는 DQN 기준 모델의 γ = 0.99보다도 뛰어난 성능을 기록한다.
• 55개의 Atari 게임 중 48개에서 DQN을 초월했으며, 15개 게임에서는 성능 향상이 50%를 초과했다.
• LogDQN의 중앙값 인간 정규화 점수는 100.5%로, 게임 세트 전반에 걸쳐 뛰어난 전반적 성능을 보였다.
• 경험 결과는 낮은 할인 인자를 사용할 때 성능이 열등한 주요 원인이 액션 갭 크기의 분산이며, 액션 갭 크기의 크기 자체는 아님을 지지한다.
• 표준 가정 하에서 수렴성을 입증하여 경험적 성공에 대한 이론적 기반을 제공한다.