[논문 리뷰] DR3: Value-Based Deep Reinforcement Learning Requires Explicit Regularization

Aviral Kumar, Rishabh Agarwal외 4명|arXiv (Cornell University)|2021. 12. 09.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 온라인 설정에서의 가치 기반 딥 강화학습(RL)에서의 특징 공적응과 표현 애너그램을 유도하는 확률적 경사하강법(SGD)의 암묵적 정규화가 성능을 떨어뜨린다고 규명한다. 이를 보완하기 위해 저자들은 DR3를 제안하며, 이는 연속된 상태-행동 쌍의 특징 유사도를 억제하는 단순한 명시적 정규화 기법이다. 이는 Atari, D4RL, 로봇 조작 벤치마크 전반에서 성능과 안정성을 크게 향상시킨다.

ABSTRACT

Despite overparameterization, deep networks trained via supervised learning are easy to optimize and exhibit excellent generalization. One hypothesis to explain this is that overparameterized deep networks enjoy the benefits of implicit regularization induced by stochastic gradient descent, which favors parsimonious solutions that generalize well on test inputs. It is reasonable to surmise that deep reinforcement learning (RL) methods could also benefit from this effect. In this paper, we discuss how the implicit regularization effect of SGD seen in supervised learning could in fact be harmful in the offline deep RL setting, leading to poor generalization and degenerate feature representations. Our theoretical analysis shows that when existing models of implicit regularization are applied to temporal difference learning, the resulting derived regularizer favors degenerate solutions with excessive "aliasing", in stark contrast to the supervised learning case. We back up these findings empirically, showing that feature representations learned by a deep network value function trained via bootstrapping can indeed become degenerate, aliasing the representations for state-action pairs that appear on either side of the Bellman backup. To address this issue, we derive the form of this implicit regularizer and, inspired by this derivation, propose a simple and effective explicit regularizer, called DR3, that counteracts the undesirable effects of this implicit regularizer. When combined with existing offline RL methods, DR3 substantially improves performance and stability, alleviating unlearning in Atari 2600 games, D4RL domains and robotic manipulation from images.

연구 동기 및 목표

• 오버파라미터화되어 있음에도 불구하고, 온라인 설정에서의 가치 기반 딥 RL 방법이 훈련 과정에서 성능이 저하되는 이유를 탐구하기 위해.
• 시간 차분 학습에서의 SGD의 암묵적 정규화 효과와 그 특징 표현에 미치는 악영향을 분석하기 위해.
• 성능 저하의 주요 원인으로서의 특징 공적응과 표현 애너그램을 규명하기 위해.
• 기본 RL 알고리즘을 변경하지 않고도 이러한 문제를 완화할 수 있는 실용적이고 이론적으로 타당한 정규화 기법을 개발하기 위해.
• DR3가 다양한 온라인 RL 벤치마크에서 성능과 안정성 향상을 실제로 입증하기 위해.

제안 방법

• 이론적 분석을 통해 TD 학습에서 SGD에 의해 유도되는 암묵적 정규화 기법을 도출하였으며, 이는 벨먼 백업 과정에서 높은 특징 유사도를 가지는 열악한 해를 선호함을 보여준다.
• 실험적 분석을 통해 연속된 상태-행동 특징 간의 내적곱 유사도로 측정된 특징 공적응이 성능 저하와 상관관계가 있음을 입증하였다.
• 시간적으로 인접한 상태-행동 쌍의 특징 간 유사도를 억제하는 실용적이고 명시적인 정규화 기법인 DR3를 설계하였다.
• 정규화 기법은 부트스트랩 업데이트 과정에서 연속된 전이에서 특징 간余kosine 유사도를 최소화하는 방식으로 훈련 중 적용된다.
• DR3는 CQL, REM, BRAC와 같은 기존의 온라인 RL 알고리즘과 호환되며, 아키텍처 수정 없이 쉽게 통합할 수 있다.
• 실험적으로 DR3는 Atari 2600 게임, D4RL 환경, 그리고 표준 온라인 RL 벤치마크를 사용한 이미지 기반 로봇 조작 과제에서 평가되었다.

실험 결과

연구 질문

• RQ1 감독 학습에서는 유익한 것으로 간주되는 SGD의 암묵적 정규화가, 온라인 설정에서의 가치 기반 딥 RL에도 유익한가?
• RQ2 딥 네트워크를 사용한 TD 학습 과정에서 나타나는 암묵적 정규화 기법의 형태는 무엇인가?
• RQ3 이 암묵적 정규화 기법이 열악한 특징 표현과 성능 저하를 유도하는 방식은 무엇인가?
• RQ4 명시적 정규화가 이러한 암묵적 정규화의 악영향을 상쇄시킬 수 있는가?
• RQ5 DR3는 다양한 온라인 RL 벤치마크에서 성능과 안정성을 향상시키는가?

주요 결과

• 기존의 온라인 RL 방법 대비, DR3는 가장 도전적인 D4RL 과제에서 성능을 60% 향상시켰다.
• 17개의 Atari 2600 게임에서, DR3는 REM에 대해 평균 성능 기준 160%의 안정성 향상을, CQL에 대해 25%의 안정성 향상을 보였다.
• DR3 적용 시 특징 내적곱 유사도가 크게 감소하였으며, 이는 공적응 감소를 의미하며, 훈련 전반에 걸쳐 낮은 수준에서 안정화되었다.
• DR3는 특징 표현의 랭크 콜랩스(질병)를 방지하였으며, 이는 온라인 RL에서 성능 저하와 관련된 알려진 병태이다.
• 이 방법은 픽셀 기반 환경 외부의 이미지 기반 로봇 조작 과제에서도 성능 향상을 보였으며, 이는 픽셀 기반 환경 외부로의 일반화 능력을 입증한다.
• Q-값이 과대평가되지 않은 상태에서도, DR3 없이 장기간 훈련을 진행할 경우 특징 공적응 증가로 인해 성능 저하가 발생함을 확인하였다.