[논문 리뷰] Implicit Under-Parameterization Inhibits Data-Efficient Deep Reinforcement Learning

Aviral Kumar|arXiv (Cornell University)|2020. 10. 27.

Reinforcement Learning in Robotics참고 문헌 57인용 수 7

한 줄 요약

이 논문은 부스트랩핑을 사용하는 가치기반 딥 강화학습에서 '암묵적 과소파aram터화'를 규명한다. 여기서 경사 하강법은 신경망 특징의 유효 질량이 감소하게 하여 모델 표현력이 떨어지고 성능이 열악해지는 원인이 된다. 저자들은 아케이드 및 견본 환경에서 이 현상을 실증적으로 입증하고, 특이값 정규화를 통해 질량 붕괴를 제어하면 데이터 효율적인 강화학습 성능이 향상됨을 보여준다. 특히 오프라인 설정에서 두드러진다.

ABSTRACT

We identify an implicit under-parameterization phenomenon in value-based deep RL methods that use bootstrapping: when value functions, approximated using deep neural networks, are trained with gradient descent using iterated regression onto target values generated by previous instances of the value network, more gradient updates decrease the expressivity of the current value network. We characterize this loss of expressivity via a drop in the rank of the learned value network features, and show that this typically corresponds to a performance drop. We demonstrate this phenomenon on Atari and Gym benchmarks, in both offline and online RL settings. We formally analyze this phenomenon and show that it results from a pathological interaction between bootstrapping and gradient-based optimization. We further show that mitigating implicit under-parameterization by controlling rank collapse can improve performance.

연구 동기 및 목표

• 부스트랩핑을 사용하는 가치기반 딥 강화학습 방법에서 이전에 설명되지 않은 최적화 실패를 규명하고 특성화하는 것.
• 부스트랩핑 훈련에서 반복적인 경사 하강 업데이트가 가치 네트워크 특징의 유효 질량을 감소시켜 표현력이 떨어지는 현상을 입증하는 것.
• 이 암묵적 과소파aram터화가 데이터 효율성에 제한을 주며, 특히 데이터 재사용이 높은 오프라인 및 온라인 강화학습에서 심화된다는 것을 보여주는 것.
• 핵심 및 선형 네트워크 모델을 사용해 질량 붕괴의 메커니즘을 체계적으로 분석하는 것.
• 질량 붕괴를 제어하고 성능을 향상시키는 단순한 정규화 방법을 제안하고 검증하는 것.

제안 방법

• 저자들은 특이값 분해를 사용하여 딥 Q-네트워크의 최전단 층에서 특징의 유효 질량을 분석한다.
• 학습된 특징의 표현력을 수량화하기 위해 srankδ라는 유효 질량 측도를 도입한다.
• 이론적 분석은 커널 회귀 및 딥 선형 네트워크 모델을 사용하여, 부스트랩핑과 함께 경사 하강법이 병적인 암묵적 정규화를 유도함을 보여준다.
• 자기 훈련 논증을 개발하여, 이전 네트워크 버전에서 생성된 타겟이 TD 오차가 비영일지라도 특징 질량을 감소시킬 수 있음을 보여준다.
• 특징 행렬의 특이값에 정규화 펜alty를 적용하여 훈련 중 질량 붕괴를 방지한다.
• 온라인 및 오프라인 강화학습 설정에서 아케이드 및 견본 벤치마크를 대상으로 실험을 수행하여 현상과 완화 전략을 검증한다.

실험 결과

연구 질문

• RQ1 높은 용량의 네트워크를 사용함에도 불구하고 가치기반 딥 강화학습 방법이 일반화에 실패하는 이유는 무엇인가?
• RQ2 부스트랩핑은 경사 하강법과 어떻게 상호작용하여 딥 Q-네트워크의 유효 표현력을 감소시키는가?
• RQ3 데이터 재사용이 높은 데이터 효율성 및 오프라인 강화학습 설정에서 성능 저하가 발생하는 원인은 무엇인가?
• RQ4 특이값 정규화를 통해 특징 표현력의 손실를 수량화하고 완화할 수 있는가?
• RQ5 어떤 조건에서 암묵적 과소파aram터화가 딥 강화학습 훈련 동역학에서 나타나는가?

주요 결과

• 아케이드 및 견본 환경에서 훈련 중 가치 네트워크 특징의 유효 질량이 급격히 감소하는 현상이 관찰되었으며, 이는 성능 저하가 발생하기 이르기 전에 항상 나타난다.
• 더 많은 경사 하강 업데이트와 더 높은 데이터 재사용이 이 현상을 악화시키며, 특히 새로운 데이터를 수집하지 않는 오프라인 강화학습에서 두드러진다.
• 이론적 분석은 부스트랩핑과 함께 경사 하강법이 특징 질량을 감소시키는 병적인 암묵적 정규화를 유도함을 확인한다.
• 오프라인 강화학습에서는 암묵적 과소파aram터화가 끊임없이 나타나며, 표준 가치기반 방법의 타당성을 제한한다.
• 특이값 정규화 펜alty를 적용하여 질량 붕괴를 제어하면 아케이드 환경에서 오프라인 DQN 및 SAC의 성능 향상이 뚜렷하게 나타난다.
• 성능 향상은 특히 데이터가 부족한 설정에서 가장 두드러지며, 이는 암묵적 과소파aram터화를 제어함으로써 데이터 효율성이 향상됨을 보여준다.