[논문 리뷰] Stabilizing Off-Policy Deep Reinforcement Learning from Pixels

Edoardo Cetin, Philip Ball외 2명|arXiv (Cornell University)|2022. 07. 03.

Domain Adaptation and Few-Shot Learning인용 수 9

한 줄 요약

이 논문은 오프-폴리시 딥 강화학습에서 픽셀 입력 시의 불안정성의 근본 원인으로 '시각적 치명의 삼총사'(TD-학습, 컨volutional 인코더, 저강도 희소 보상)를 특정하며, 이로 인해 치명적인 자기오버피팅이 발생함을 규명한다. 이를 바탕으로 A-LIX를 제안하는데, 이는 가속도 기반의 적응형 그래디언트 정규화를 통해 학습 안정성을 확보하는 방법으로, 데이터 증강이나 보조 손실 없이도 DeepMind Control 및 Atari 100k에서 최신 기준 성능을 달성한다.

ABSTRACT

Off-policy reinforcement learning (RL) from pixel observations is notoriously unstable. As a result, many successful algorithms must combine different domain-specific practices and auxiliary losses to learn meaningful behaviors in complex environments. In this work, we provide novel analysis demonstrating that these instabilities arise from performing temporal-difference learning with a convolutional encoder and low-magnitude rewards. We show that this new visual deadly triad causes unstable training and premature convergence to degenerate solutions, a phenomenon we name catastrophic self-overfitting. Based on our analysis, we propose A-LIX, a method providing adaptive regularization to the encoder's gradients that explicitly prevents the occurrence of catastrophic self-overfitting using a dual objective. By applying A-LIX, we significantly outperform the prior state-of-the-art on the DeepMind Control and Atari 100k benchmarks without any data augmentation or auxiliary losses.

연구 동기 및 목표

• 오프-폴리시 딥 강화학습에서 픽셀 관측치로부터의 불안정성의 근본 원인을 규명하는 것.
• 기존 방법들이 그래디언트 신호 손상 분석을 통해 왜 데이터 증강과 보조 손실에 의존하는지 설명하는 것.
• 보조 손실이나 이미지 증강 없이도 안정적인 학습을 가능하게 하는 방법을 제안하는 것.
• 제안된 정규화 기반으로만 DeepMind Control 및 Atari 100k 벤치마크에서 최신 기준 성능을 입증하는 것.

제안 방법

• 불안정성의 근본 원인으로 '시각적 치명의 삼총사'(TD-손실, 정규화되지 않은 CNN 인코더, 저강도 보상)를 제안한다.
• 그래디언트 신호의 불연속성을 정량화하고 자기오버피팅을 예측하기 위해 '정규화된 불연속성(ND) 점수'를 도입한다.
• 매개변수화된 공간 정규화를 통해 특징맵의 그래디언트를 명시적으로 부드럽게 만드는 학습 가능한 레이어인 LIX를 설계한다.
• 추정된 ND 점수를 기반으로 LIX의 매개변수를 적응적으로 조정하는 이중 목표를 도입하여 학습 안정성을 높인다.
• 주 학습 목표를 수정하거나 보조 손실을 추가하지 않고도 오프-폴리시 알고리즘에 A-LIX를 통합한다.
• DeepMind Control 및 Atari 100k에서 방법을 검증하여, 데이터 증강이나 보조 헤드 없이도 뛰어난 성능을 보였다.

실험 결과

연구 질문

• RQ1 프로 prioceptive 환경에서는 성공했지만, 픽셀 관측치로부터 오프-폴리시 딥 강화학습 알고리즘이 안정적으로 학습되지 않는 이유는 무엇인가?
• RQ2 TD-학습, 컨볼루션 인코더, 희소 보상의 조합이 시각적 강화학습에서 최적화 불안정성을 유도하는 방식은 무엇인가?
• RQ3 특징맵에서의 고주파 수평 그래디언트가 조기 수렴과 열악한 해를 초래하는 데 어떤 역할을 하는가?
• RQ4 기존 최신 기준 시각적 강화학습 방법들이 왜 일반적으로 데이터 증강과 보조 손실을 사용하는가?
• RQ5 단일의 적응형 정규화 메커니즘이 시각적 오프-폴리시 강화학습에서 다수의 히وري스틱 구성 요소를 대체할 수 있는가?

주요 결과

• 시각적 치명의 삼총사는 인코더의 특징맵에서 고주파 수평 그래디언트를 유도하여 최적화 불안정성과 조기 수렴을 초래한다.
• 정규화된 불연속성(ND) 점수는 에이전트 성능과 강하게 상관되며, 치명적인 자기오버피팅을 예측할 수 있다.
• A-LIX는 데이터 증강이나 보조 손실 없이도 DeepMind Control 및 Atari 100k 벤치마크에서 기존 최신 기준 방법들을 압도적으로 뛰어넘는 성능을 보였다.
• A-LIX로 학습된 에이전트는 액션-밸류 표면에서 액션 변화에 더 민감하게 반응함으로써, 더 나은 정책 최적화 안정성을 나타낸다.
• 손실 표면 분석과 도말무늬 아티팩트 실험을 통해, A-LIX는 특징맵의 고주파 노이즈에 대한 오버피팅을 감소시킴을 입증했다.
• A-LIX는 최소한의 하이퍼파rameter 튜닝으로도 안정적인 학습을 가능하게 하여, 다양한 시각적 강화학습 환경에서 뛰어난 내구성을 보였다.