[논문 리뷰] Training Larger Networks for Deep Reinforcement Learning

Kei Ota, Devesh K. Jha외 1명|arXiv (Cornell University)|2021. 02. 16.

Reinforcement Learning in Robotics참고 문헌 48인용 수 10

한 줄 요약

이 논문은 다음 상태 예측 보조 과제를 사용하여 강화학습(RL)과 표현 학습을 분리하고, 넓은 DenseNet 아키텍처를 활용하여 특징 전파를 향상시키며, 분산 학습을 통해 더 많은 온폴리시 데이터를 수집하는 세 부분으로 구성된 방법을 제안한다. 이 방법은 매우 깊고 넓은 네트워크의 안정적 학습을 가능하게 하여 Ant-v2와 같은 도전적인 연속 제어 벤치마크에서 최신 기술을 능가하는 성능 향상을 이룬다.

ABSTRACT

The success of deep learning in the computer vision and natural language processing communities can be attributed to training of very deep neural networks with millions or billions of parameters which can then be trained with massive amounts of data. However, similar trend has largely eluded training of deep reinforcement learning (RL) algorithms where larger networks do not lead to performance improvement. Previous work has shown that this is mostly due to instability during training of deep RL agents when using larger networks. In this paper, we make an attempt to understand and address training of larger networks for deep RL. We first show that naively increasing network capacity does not improve performance. Then, we propose a novel method that consists of 1) wider networks with DenseNet connection, 2) decoupling representation learning from training of RL, 3) a distributed training method to mitigate overfitting problems. Using this three-fold technique, we show that we can train very large networks that result in significant performance gains. We present several ablation studies to demonstrate the efficacy of the proposed method and some intuitive understanding of the reasons for performance gain. We show that our proposed method outperforms other baseline algorithms on several challenging locomotion tasks.

연구 동기 및 목표

• 딥 강화학습(DRL)에서 네트워크 크기를 단순히 증가시킬 경우 발생하는 불안정성과 성능 향상 부족 문제를 해결하기 위해.
• 컴퓨터 비전과 NLP에서 성공을 거둔 대규형 네트워크가 DRL에서는 왜 성능 향상이 이루어지지 않는지 이해하기 위해.
• 매우 넓고 깊은 신경망을 DRL에서 안정적이고 확장 가능한 방법으로 훈련시키는 데 목적이 있다.
• 성능 향상은 하이퍼파라미터 튜닝 외에도 아키텍처 및 학습 방식의 수정을 통해 달성될 수 있음을 보여주기 위해.

제안 방법

• 보조 손실을 사용하여 다음 상태를 예측하는 특징 추출기(OFENet)를 훈련시켜 RL과 표현 학습을 분리함으로써 더 풍부하고 정보가 풍부한 특징을 얻는다.
• 넓은 잔차 블록을 사용한 DenseNet 스타일 아키텍처를 활용하여 레이어 간의 특징 전파와 정보 흐름을 향상시킨다.
• Ape-X 유사한 분산 학습 프레임워크를 사용하여 대량의 온폴리시 전이 데이터를 수집함으로써 과적합을 줄이고 일반화 능력을 향상시킨다.
• RL 정책과 함께 피넷팅하기 전에, 사전 학습된 특징 추출기(OFENet)를 자기지도적 다음 상태 예측 과제에서 별도로 훈련시킨다.
• 큰 사전 훈련된 특징 추출기를 표준 SAC 에이전트와 결합하여, 추출된 특징을 정책 및 Q-네트워크의 입력으로 사용한다.
• 효율적 랭크 분석과 손실 표면 시각화를 통해 아키텍처 선택의 학습 안정성과 성능에 미치는 영향을 해석한다.

실험 결과

연구 질문

• RQ1 왜 대규형 네트워크는 지도학습에서는 성공했지만, 딥 강화학습에서는 성능 향상이 이루어지지 않는가?
• RQ2 표현 학습을 RL에서 분리하면 DRL의 학습 안정성과 성능 향상에 기여하는가?
• RQ3 DenseNet 아키텍처는 DRL에서 더 깊고 넓은 네트워크를 훈련시키는 데 어떻게 기여하는가?
• RQ4 분산된 온폴리시 데이터 수집이 대규형 DRL 네트워크에서 과적합을 어느 정도 완화하는가?
• RQ5 각 구성 요소(표현 학습, DenseNet, 분산 학습)가 최종 성능 향상에 기여하는 비중은 어느 정도인가?

주요 결과

• 제안된 방법은 Ant-v2 환경에서 표준 SAC를 크게 능가하여 기준 및 최신 기술 알고리즘보다 높은 평균 수익을 달성한다.
• 제거 실험 결과, OFENet, DenseNet, 분산 학습 중 어느 하나의 핵심 구성 요소도 제거할 경우 성능가 심각하게 저하됨을 확인하여 각 구성 요소의 독립적 기여도를 입증한다.
• 아키텍처나 학습 방식의 수정 없이 넓은 네트워크(층당 2048개 유닛)를 사용할 경우 성능이 열악해지며, 난이도 있는 스케일링의 불안정성을 확인한다.
• OFENet 구성 요소만으로도 표준 RL 훈련보다 성능 향상을 보이며, 보조 과제를 통한 사전 훈련의 이점을 입증한다.
• DenseNet 아키텍처는 표준 MLP보다 성능 향상을 보이며, DRL에서 대규형 네트워크에 있어 강력한 특징 전파의 중요성을 시사한다.
• 손실 표면 시각화와 효율적 랭크 분석 결과, 제안된 방법이 더 평탄하고 안정적인 손실 표면을 유도함을 확인하여 일반화 능력 향상에 기여함을 뒷받침한다.