[논문 리뷰] Understanding and Preventing Capacity Loss in Reinforcement Learning

Clare Lyle, Mark Rowland외 1명|arXiv (Cornell University)|2022. 04. 20.

Reinforcement Learning in Robotics인용 수 10

한 줄 요약

이 논문은 희소 보상 환경에서 성능이 열악한 이유로 기인하는 '용량 손실(capacity loss)'—학습 과정에서 새로운 가치 함수를 학습할 수 있는 능력이 떨어지는 현상—을 규명한다. 이를 바탕으로 초기 특징 정규화(Initial Feature Regularization, InFeR)를 제안하며, 이는 보조 출력을 초기 값으로 정규화함으로써 표현 학습을 안정화시켜, 고급 탐색 알고리즘 없이도 몽테주마의 레비우스(Montezuma’s Revenge)와 같은 어려운 탐색 과제에서 뚜렷한 성능 향상을 이룬다.

ABSTRACT

The reinforcement learning (RL) problem is rife with sources of non-stationarity, making it a notoriously difficult problem domain for the application of neural networks. We identify a mechanism by which non-stationary prediction targets can prevent learning progress in deep RL agents: extit{capacity loss}, whereby networks trained on a sequence of target values lose their ability to quickly update their predictions over time. We demonstrate that capacity loss occurs in a range of RL agents and environments, and is particularly damaging to performance in sparse-reward tasks. We then present a simple regularizer, Initial Feature Regularization (InFeR), that mitigates this phenomenon by regressing a subspace of features towards its value at initialization, leading to significant performance improvements in sparse-reward environments such as Montezuma's Revenge. We conclude that preventing capacity loss is crucial to enable agents to maximally benefit from the learning signals they obtain throughout the entire training trajectory.

연구 동기 및 목표

• 적절한 탐색이 이루어지고 있음에도 불구하고 딥 강화학습 에이전트가 희소 보상 환경에서 학습에 실패하는 이유를 탐구하기 위해.
• 신경망이 시간이 지남에 따라 새로운 예측 타겟을 피팅할 수 있는 능력을 상실하는 데 기여하는 이전에 간과된 메커니즘인 '용량 손실'을 규명하기 위해.
• 비정상적인 타겟으로 인해 발생하는 표현 붕괴가 딥 강화학습에서 학습 진전을 저해하는지 확인하기 위해.
• 용량 손실을 방지할 수 있는 단순하고 효과적인 정규화 기법인 초기 특징 정규화(Initial Feature Regularization, InFeR)를 제안하고 검증하기 위해.
• 기본적인 탐색 전략만으로도 강력한 성능을 낼 수 있도록 표현 학습을 향상시킬 수 있으며, 이는 성능 열악함이 탐색 실패 때문이라는 기존의 가정을 도전하기 위해.

제안 방법

• 저자는 초기 특징 정규화(Initial Feature Regularization, InFeR)를 도입하며, 이는 네트워크에 보조 출력을 추가하고, 초기화 시점의 값을 기준으로 그 값을 회귀시키는 정규화 기법이다.
• InFeR는 고정된 작은 L2 손실을 사용하여 네트워크의 특징 공간을 정규화함으로써, 새로운 함수를 표현할 수 있는 능력인 용량을 유지한다.
• 이 방법은 Q-네트워크의 두 번째로 끝난 레이어에 적용되며, 보조 출력은 동일한 입력에 대해 초기 네트워크의 출력과 일치하도록 학습된다.
• 정규화는 계산적으로 경량이며, 추가적인 비용 없이 고정된 작은 L2 손실 항목 외에는 추가 비용이 발생하지 않는다.
• 저자는 여러 개의 Atari 환경에서 InFeR를 실험적으로 평가하였으며, 특히 몽테주마의 레비우스와 같은 희소 보상 게임에 집중하였다.
• 선형 분리 가능성과 특징 공간 붕괴를 통해 표현 역학을 분석하여, 학습 과정에서 상태를 얼마나 잘 구분하는지 특징의 성능을 측정하였다.

실험 결과

연구 질문

• RQ1 딥 강화학습 학습 과정에서, 새로운 타겟 함수를 피팅할 수 있는 능력이 떨어지는 '용량 손실'이 얼마나 심각하게 발생하는가?
• RQ2 딥 강화학습 에이전트가 희소 보상 환경에서 학습에 실패하는 이유는 무엇이며, 이는 탐색 부족 때문인가, 표현 학습 부족 때문인가?
• RQ3 특징이 낮은 차원의 부분공간으로 붕괴되는 표현 붕괴가 딥 강화학습 에이전트의 성능 저하와 관련이 있는가?
• RQ4 단순하고 고정된 정규화 기법인 InFeR가 용량 손실을 완화하고 어려운 환경에서의 성능을 향상시킬 수 있는가?
• RQ5 InFeR와 베이스라인 에이전트 간의 성능 격차는 과소 파rameter화 때문이며, 네트워크의 너비를 두 배로 늘여도 이 격차가 사라지거나 반전되는가?

주요 결과

• 용량 손실은 딥 강화학습에서 흔하고 치명적인 현상이며, 특히 몽테주마의 레비우스와 같은 희소 보상 환경에서 뚜렷하게 나타나며, 탐색이 충분한데도 에이전트가 학습에 실패하는 주요 원인이다.
• 희소 보상 환경에서는 표현 붕괴가 매우 빠르게 발생하며, 특징 출력이 낮은 차원 또는 영차원 부분공간으로 붕괴되어 상태를 구분하는 능력이 떨어진다.
• InFeR는 몽테주마의 레비우스와 같은 어려운 탐색 게임에서 성능을 크게 향상시키며, 고급 탐색 알고리즘 없이도 최신 기준(SOTA) 성능을 달성한다.
• 네트워크의 너비를 두 배로 늘일 경우, InFeR와 베이스라인 에이전트 간의 성능 격차가 사라지거나 반전되며, 이는 격차가 정규화 기법 자체 때문이 아니라 과소 파rameter화 때문임을 시사한다.
• 저자는 충분한 표현 용량이 학습 진전을 위한 필수 조건이며, InFeR가 네트워크의 기능 공간 역학을 안정화시킴으로써 이를 유지함을 발견하였다.
• InFeR는 비정상적인 강화학습 환경에서 순차적인 예측 과제 간의 악성 전이를 방지하고 일반화 능력을 향상시키는 기능 공간 정규화의 한 형태로 작용한다.