[논문 리뷰] Overestimation, Overfitting, and Plasticity in Actor-Critic: the Bitter Lesson of Reinforcement Learning

Michał Nauman, Michał Bortkiewicz외 4명|arXiv (Cornell University)|2024. 03. 01.

Embodied and Extended CognitionNeuroscience인용 수 3

한 줄 요약

이 논문은 두 가지 벤치마크에서 얻은 14개의 다양한 제어 과제에서 오프-폴리시 액터-크리틱 강화학습에 대해 정규화 기법—네트워크, 크리틱, 플라스티시티 정규화—의 영향을 조사한다. 연구 결과, 복잡한 RL 전용 기법보다 단순한 네트워크 정규화(예: 레이어 정규화)와 전체 가중치 재설정 조합이 더 우수한 성능을 보이며, 이는 모델-프리 에이전트가 이전에는 해결이 어려웠던 과제들, 예를 들어 고양이 도메인을 해결할 수 있도록 한다. 반면 크리틱 정규화는 종종 성능을 떨어뜨린다.

ABSTRACT

Recent advancements in off-policy Reinforcement Learning (RL) have significantly improved sample efficiency, primarily due to the incorporation of various forms of regularization that enable more gradient update steps than traditional agents. However, many of these techniques have been tested in limited settings, often on tasks from single simulation benchmarks and against well-known algorithms rather than a range of regularization approaches. This limits our understanding of the specific mechanisms driving RL improvements. To address this, we implemented over 60 different off-policy agents, each integrating established regularization techniques from recent state-of-the-art algorithms. We tested these agents across 14 diverse tasks from 2 simulation benchmarks, measuring training metrics related to overestimation, overfitting, and plasticity loss -- issues that motivate the examined regularization techniques. Our findings reveal that while the effectiveness of a specific regularization setup varies with the task, certain combinations consistently demonstrate robust and superior performance. Notably, a simple Soft Actor-Critic agent, appropriately regularized, reliably finds a better-performing policy within the training regime, which previously was achieved mainly through model-based approaches.

연구 동기 및 목표

• 다양한 과제와 벤치마크에서 60개 이상의 오프-폴리시 에이전트 변종의 효과성과 강건성을 평가하기 위해.
• 오프-폴리시 RL에서 네트워크, 크리틱, 플라스티시티 정규화 기법 간의 상호작용과 성능에 미치는 영향을 이해하기 위해.
• 일반적인 신경망 정규화 기법이 샘플 효율적인 RL에서 도메인 특화 알고리즘 개선 사항을 능가할 수 있는지 테스트하기 위해.
• 딥 강화학습 학습 동역학에서 과대추정, 과적합, 플라스티시티 손실 간의 상호작용을 조사하기 위해.
• 고리플레이 비율 설정에서 안정적인 학습을 위해 크리틱 전용 정규화가 필수적이라는 가정을 도전하기 위해.

제안 방법

• 최근 최고 성능 알고리즘에서 유래한 12개의 정규화 설계 선택 사항을 조합하여 64개의 서로 다른 SAC 기반 에이전트 변종을 구현하였다.
• 딥마인드 컨트롤 스위트(DMC)와 메타월드에서 14개의 과제를 대상으로 두 가지 리플레이 비율 제도에서 에이전트를 평가하였다.
• 학습 동역학을 분석하기 위해 기울기 노름, 가치 과대추정, 과적합, 플라스티시티 손실을 프록시 지표로 사용하였다.
• 레이어 정규화, 스펙트럴 노름, 웨이트 디케이, 전체 가중치 재설정을 네트워크 정규화 기법으로 적용하였다.
• 특정 문제(예: 과대추정, 과적합)를 대상으로 한 간섭 조치가 여러 프록시 지표에 미치는 영향을 비교하였다.
• 단일 정규화 구성 요소의 성능에 미치는 영향을 분리하기 위해 아블레이션 스터디를 수행하였다.

실험 결과

연구 질문

• RQ1 어떤 정규화 기법이 다양한 제어 과제에서 강건하고 일반화 가능한 성능 향상을 이끌어내는가?
• RQ2 일반적인 신경망 정규화 기법이 오프-폴리시 액터-크리틱 학습에서 도메인 특화 RL 알고리즘 개선 사항을 능가할 수 있는가?
• RQ3 다양한 환경과 학습 제도에서 과대추정, 과적합, 플라스티시티 손실이 에이전트 성능과 어떻게 상관관계를 가지는가?
• RQ4 클리프드 더블 Q러닝은 왜 이동 과제에서는 성공했지만 조작 과제에서는 실패하는가?
• RQ5 과적합을 대상으로 한 간섭 조치(예: 전체 가중치 재설정)가 과대추정이나 플라스티시티와 같은 다른 문제에 얼마나 큰 영향을 미치는가?

주요 결과

• 레이어 정규화와 전체 가중치 재설정은 가치 과대추정을 크게 감소시키며, 크리틱 전용 정규화 기법보다 뛰어난 성능을 보였다.
• 단순하고 적절히 정규화된 소프트 액터-크리틱 에이전트가 이전에는 모델 기반 방법에서만 해결된 고양이 도메인 과제를 해결하였다. 이는 일반 정규화의 힘을 보여주는 바이다.
• 크리틱 정규화는 메타월드 조작 과제에서 특히 성능 저하를 초래했으며, 이는 고리플레이 설정에서 오히려 해로울 수 있음을 시사한다.
• 네트워크 정규화와 플라스티시티 정규화를 함께 적용하면 가치 과대추정을 효과적으로 완화할 수 있어, 많은 경우 크리틱 정규화가 필요 없어졌다.
• 과적합을 대상으로 한 간섭 조치(예: 전체 가중치 재설정)는 전용으로 설계된 방법보다 과대추정 및 플라스티시티 지표에 더 강한 영향을 미쳤다.
• 기울기 노름과 같은 설명 지표와 성능 간의 상관관계는 심지어 같은 벤치마크 내에서도 환경에 따라 크게 달라지며, 이는 환경에 따라 동역학이 달라진다는 것을 강조한다.