[논문 리뷰] D2RL: Deep Dense Architectures in Reinforcement Learning

Samarth Sinha, Homanga Bharadhwaj외 2명|arXiv (Cornell University)|2020. 10. 19.

Reinforcement Learning in Robotics참고 문헌 36인용 수 13

한 줄 요약

이 논문은 강화학습을 위한 딥 디펜스 아키텍처인 D2RL을 제안한다. 이는 정책 및 가치 함수 네트워크의 여러 레이어에 걸쳐 디펜스 스위프트 커넥션을 사용함으로써 샘플 효율성을 향상시킨다. 프оп리오셉틱 및 이미지 기반 관측을 모두 사용하는 다양한 로봇 제어 작업에서 일관된 성능 향상을 보이며, 표준 MLP 및 ResNet 베이스라인을 능가한다. 특히 기존 아키텍처가 실패하는 더 깊은 네트워크에서 뚜렷한 성능 향상을 보인다.

ABSTRACT

While improvements in deep learning architectures have played a crucial role in improving the state of supervised and unsupervised learning in computer vision and natural language processing, neural network architecture choices for reinforcement learning remain relatively under-explored. We take inspiration from successful architectural choices in computer vision and generative modelling, and investigate the use of deeper networks and dense connections for reinforcement learning on a variety of simulated robotic learning benchmark environments. Our findings reveal that current methods benefit significantly from dense connections and deeper networks, across a suite of manipulation and locomotion tasks, for both proprioceptive and image-based observations. We hope that our results can serve as a strong baseline and further motivate future research into neural network architectures for reinforcement learning. The project website with code is at this link https://sites.google.com/view/d2rl/home.

연구 동기 및 목표

• 강화학습을 위한 정책 및 가치 함수 근사에서 딥 네ural 네트워크의 성능 저하 문제를 조사하는 것.
• 딥 강화학습에 사용되는 더 깊은 네트워크에서의 최적화 문제 및 성능 붕괴 문제를 해결하는 것.
• 디펜스 연결을 통해 샘플 효율성을 향상시키는 일반화 가능한 아키텍처 솔루션인 D2RL을 제안하는 것.
• 이중 관측 방식(이미지 및 프로피오셉틱 관측)을 사용하는 다양한 로봇 제어 환경에서 D2RL의 효과를 평가하는 것.
• 미래의 딥 강화학습 아키텍처 연구를 위한 강력한 베이스라인으로 D2RL를 확립하는 것.

제안 방법

• D2RL는 디펜스 스위프트 커넥션을 사용하며, 각 레이어가 이전 모든 레이어의 출력과 입력을 연결함으로써, DenseNet 및 U-Net 아키텍처에서 영감을 받는다.
• 표준 액터-크리틱 네트워크를 수정하여, 전체 레이어에 걸쳐 특징 재사용이 가능한 디펜스 아키텍처로 완전 연결 레이어를 대체한다.
• 이 아키텍처는 SAC 및 CURL과 같은 오프-폴리시 알고리즘의 정책 및 Q-가치 네트워크에 적용되며, 기존 훈련 프레임워크와의 호환성을 유지한다.
• 입력을 모든 레이어를 통과시키는 아이덴티티 매핑을 사용하여 기울기 흐름을 보장하고, 깊은 네트워크에서의 기울기 소실 문제를 줄인다.
• 아키텍처의 영향을 분리하기 위해 실험 전반에 걸쳐 하이퍼파ram터를 동일하게 유지하며, 비틀린 MLP 및 ResNet 변종과의 비교를 수행한다.
• 모델은 DM Control Suite 및 OpenAI Gym 환경에서 이미지 및 상태 기반 관측을 모두 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 딥 강화학습에서 신경망의 깊이를 증가시키면 정책 및 가치 함수 성능에 어떤 영향을 미치는가?
• RQ2 디펜스 연결이 DRL에 사용되는 더 깊은 네트워크에서의 성능 저하를 완화할 수 있는가?
• RQ3 D2RL 아키텍처는 표준 MLP 및 ResNet 기반 네트워크보다 샘플 효율성을 향상시키는가?
• RQ4 D2RL의 이점은 관측 모odalities(이미지 대비 프로피오셉틱) 및 RL 알고리즘에 관계없이 일관된가?
• RQ5 정책 네트워크에 D2RL를 적용하는 것과 가치 네트워크에 적용하는 것의 상대적 기여도는 어떠한가?

주요 결과

• D2RL는 연속 제어 작업에서 샘플 효율성을 크게 향상시켜 높은 성능에 도달하기 위한 환경 상호작용 수를 줄인다.
• 모든 평가된 작업에서 D2RL는 비틀린 MLP 및 ResNet 기반 네트워크를 능가하며, 특히 기존 아키텍처가 실패하는 더 깊은 아키텍처에서 뚜렷한 성능 향상을 보인다.
• 정책 및 Q-가치 네트워크 양쪽에 D2RL를 적용할 경우 최고의 성능를 기록하며, 정책 네트워크 단독 대비 가치 네트워크 파rameterization에서 더 강한 상대적 향상이 관찰된다.
• 더 깊은 D2RL 네트워크(예: 8레이어)는 얕은 네트워크(4레이어)와 거의 유사한 성능를 보이며, 반면 비틀린 MLP는 깊이 증가에 따라 성능 저하를 보인다.
• 아블레이션 스터디는 디펜스 연결이 DRL에서 깊은 네트워크의 성능 붕괴 문제를 효과적으로 완화함을 확인한다.
• 결과는 아키텍처의 인덕티브 바이어스, 예를 들어 디펜스 연결과 같은 요소들이 DRL에서 일반화 및 최적화 향상에 있어 핵심적임을 보여준다.