[논문 리뷰] Leverage the Average: an Analysis of Regularization in RL

Nino Vieillard, Tadashi Kozuno외 4명|arXiv (Cornell University)|2020. 03. 31.

Reinforcement Learning in Robotics참고 문헌 42인용 수 19

한 줄 요약

이 논문은 강화학습에서 KL 정규화의 영향을 분석하여, 값 반복 과정에서 Q-값을 암묵적으로 평균화함으로써 성능 향상을 이끌어내는 메커니즘을 규명한다. 이는 선형 계획 수평에 비례하는 성능 경계와 오차 평균화를 특징으로 하며 오차 누적 방식을 피한다. 이론적 프레임워크는 엔트로피 정규화된 강화학습로 확장되어 여러 기존 알고리즘을 통합하며, 신경망 설정에서는 제한이 있지만 실험적 검증을 통해 분석을 보완한다.

ABSTRACT

Recent Reinforcement Learning (RL) algorithms making use of Kullback-Leibler (KL) regularization as a core component have shown outstanding performance. Yet, only little is understood theoretically about why KL regularization helps, so far. We study KL regularization within an approximate value iteration scheme and show that it implicitly averages q-values. Leveraging this insight, we provide a very strong performance bound, the very first to combine two desirable aspects: a linear dependency to the horizon (instead of quadratic) and an error propagation term involving an averaging effect of the estimation errors (instead of an accumulation effect). We also study the more general case of an additional entropy regularizer. The resulting abstract scheme encompasses many existing RL algorithms. Some of our assumptions do not hold with neural networks, so we complement this theoretical analysis with an extensive empirical study.

연구 동기 및 목표

• KL 정규화가 강화학습에서 성능을 향상시키는 이유를 이론적으로 이해하는 것.
• 근사 값 반복 프레임워크 내에서 KL 정규화를 분석하고, Q-값의 암묵적 평균화 효과를 규명하는 것.
• 계획 수평에 선형 의존성을 가지며 오차 누적 대신 오차 평균화를 반영하는 성능 경계를 유도하는 것.
• 분석을 엔트로피 정규화로 확장하고 기존 강화학습 알고리즘들과 통합하는 것.
• 특히 이론적 가정이 성립하지 않을 수 있는 비타블러 설정에서 이론적 통찰을 실험적으로 검증하는 것.

제안 방법

• 근사 값 반복 체계 내에서 KL 정규화를 수식화하여 Q-값 갱신에 미치는 영향을 분석하는 것.
• KL 정규화가 상태 간 Q-값의 암묵적 평균화를 유도함으로써 추정 오차에 대한 민감도를 감소시킴을 보이는 것.
• 계획 수평에 선형적으로 의존하는 성능 경계를 유도하며, 일반적으로 나타나는 제곱형 의존성 방지하는 것.
• 추가적인 엔트로피 정규화 항을 포함하여 프레임워크를 더 넓은 강화학습 알고리즘에 일반화하는 것.
• SAC 및 PPO와 같은 기존 알고리즘의 핵심 요소를 담고 있는 추상적 체계를 수립하여 이론적 통합을 가능하게 하는 것.
• 심층 강화학습 설정에서 이론적 가정이 성립하지 않을 수 있는 상황에서도 성능와 내성에 대한 광범위한 실험적 평가를 수행하는 것.

실험 결과

연구 질문

• RQ1 강화학습에서 KL 정규화는 어떻게 일반화 능력과 성능 향상에 기여하는가?
• RQ2 KL 정규화가 Q-값 갱신에 영향을 주는 근본적 메커니즘은 무엇인가?
• RQ3 계획 수평에 제곱형 의존성과 오차 누적 방식을 피하는 성능 경계를 도출할 수 있는가?
• RQ4 엔트로피 정규화의 포함이 알고리즘의 이론적 성질에 어떤 영향을 미치는가?
• RQ5 심층 강화학습 설정에서 신경망을 사용할 경우 이론적 통찰은 어느 정도 유지되는가?

주요 결과

• KL 정규화는 값 반복 과정에서 Q-값을 암묵적으로 평균화함으로써 추정 오차의 영향을 감소시킨다.
• 이 논문은 계획 수평에 선형 의존성을 가지며 이전의 제곱형 경계보다 훨씬 개선된 첫 번째 성능 경계를 도출한다.
• 경계에 포함된 오차 전파 항은 오차 누적 대신 오차 평균화 효과를 반영하여 내성 향상에 기여한다.
• 이론적 프레임워크는 엔트로피 정규화를 포함하여 확장되며, 여러 기존 강화학습 알고리즘을 하나의 추상적 체계로 통합한다.
• 실험 결과는 이론적 통찰을 검증하지만, 일부 가정은 심층 강화학습 설정에서는 성립하지 않아 향후 연구가 필요함을 시사한다.