[논문 리뷰] Discount Factor as a Regularizer in Reinforcement Learning

Ron Amit, Ron Meir외 1명|arXiv (Cornell University)|2020. 07. 04.

Evolutionary Algorithms and Applications인용 수 16

한 줄 요약

이 논문은 시간차분 학습(TD) 학습에서 감소된 할인 인자와 활성화 정규화 사이의 이론적 동치성을 확립하며, 제한된 데이터 환경에서 할인 정규화가 일반화 성능을 향상시킨다는 것을 보여준다. 실증적으로는 데이터가 희소하거나 비균일하거나 혼합률이 낮을 경우, 할인 정규화가 표준 L2 정규화보다 더 우수한 성능을 보이며, 이는 데이터 분포와 동역학에 따라 성능이 크게 달라진다는 점을 보여준다.

ABSTRACT

Specifying a Reinforcement Learning (RL) task involves choosing a suitable planning horizon, which is typically modeled by a discount factor. It is known that applying RL algorithms with a lower discount factor can act as a regularizer, improving performance in the limited data regime. Yet the exact nature of this regularizer has not been investigated. In this work, we fill in this gap. For several Temporal-Difference (TD) learning methods, we show an explicit equivalence between using a reduced discount factor and adding an explicit regularization term to the algorithm's loss. Motivated by the equivalence, we empirically study this technique compared to standard $L_2$ regularization by extensive experiments in discrete and continuous domains, using tabular and functional representations. Our experiments suggest the regularization effectiveness is strongly related to properties of the available data, such as size, distribution, and mixing rate.

연구 동기 및 목표

• 강화학습에서 감소된 할인 인자의 정규화 효과를 조사하는 것.
• TD 학습에서 할인 정규화와 활성화 정규화 사이의 공식적 동치성을 수립하는 것.
• 표본화된 환경과 딥 강화학습 벤치마크에서 할인 정규화의 효과를 L2 정규화와 비교하여 실증적으로 평가하는 것.
• 표본 크기, 상태 방문의 균일성, 혼합률 등 데이터 기반 요소들이 할인 정규화의 성공에 미치는 영향을 규명하는 것.
• 함수 근사 설정에서 할인 정규화가 표준 L2 정규화를 초월하거나 보완하는 조건을 탐색하는 것.

제안 방법

• 감소된 할인 인자를 사용한 TD 학습과 손실 함수에 활성화 정규화 항을 추가한 것 사이의 명시적 수학적 동치성을 유도하는 것.
• 함수 근사 하에서 TD(0), TD(λ), SARSA 등의 여러 TD 학습 변형에 이 동치성을 적용하는 것.
• 제한된 데이터 하에서 성능을 평가하기 위해 표본화된 MDP와 연속 제어 벤치마크(Mujoco 환경 등)를 사용하는 것.
• 표본 수, 상태 방문 균일성, 혼합률을 변화시켜 다양한 데이터 제도에서 할인 정규화와 표준 L2 정규화를 비교하는 것.
• TD3 및 기타 딥 강화학습 알고리즘을 사용하여 제어된 데이터 수집 프로토콜 하에서 연속 제어 작업의 일반화 성능을 테스트하는 것.
• 체계적인 아블레이션 연구를 통해 데이터 분포와 혼합률이 정규화 효과에 미치는 영향을 분석하는 것.

실험 결과

연구 질문

• RQ1 감소된 할인 인자를 사용하는 것과 TD 학습에서 명시적 정규화 항을 추가하는 것 사이에 공식적 동치성이 존재하는가?
• RQ2 할인 정규화의 효과는 표본 크기, 상태 방문 균일성, 혼합률 등의 데이터 특성에 따라 어떻게 달라지는가?
• RQ3 할인 정규화가 가치 함수 추정에서 표준 L2 정규화를 능가하는 설정은 어떤 경우인가?
• RQ4 할인 정규화는 딥 강화학습에서 기존의 L2 정규화의 타당한 대안 또는 보완으로 간주될 수 있는가?
• RQ5 함수 근사 설정에서 할인 정규화가 일반화 성능을 향상시키는 조건은 무엇인가?

주요 결과

• 감소된 할인 인자를 사용하는 것과 TD 학습 손실 함수에 활성화 정규화 항을 추가하는 것 사이에 이론적 동치성이 확립되었다.
• 표본화된 설정에서는 할인 정규화가 데이터가 제한적일 경우나 상태 방문이 비균일할 경우 L2 정규화와 유사한 성능을 기록한다.
• 데이터가 희소하고 상태 방문 분포가 비균일하거나 혼합률이 낮을 경우, 딥 강화학습에서 할인 정규화가 일반화 성능을 크게 향상시킨다.
• 할인 정규화의 효과는 데이터 수집 과정의 혼합률과 강하게 상관되어 있으며, 낮은 혼합률일수록 성능 향상이 더 두드러진다.
• Hopper-v2와 같은 연속 제어 벤치마크에서는 제한된 데이터 하에서 할인 정규화가 L2 정규화를 능가하며, 중간 정도의 할인 값에서 최적의 성능을 기록한다.
• 연구 결과, 할인 정규화와 L2 정규화의 상대적 성능은 함수 근사 설정에 따라 달라지며, 이는 상황에 따라 우월성이 달라질 수 있음을 시사한다.