[논문 리뷰] The State of Sparse Training in Deep Reinforcement Learning

Laura Graesser, Utku Evci외 2명|arXiv (Cornell University)|2022. 06. 17.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 딥 강화학습(DRL)에서 구조적 프루닝, 스태틱 스퍼시티, SET, RigL과 같은 스퍼시 트레이닝 기법을 체계적으로 평가하며, 동일한 파라미터 수에서 스퍼시 네트워크가 DQN, SAC, PPO 에이전트 전반에서 밀도 네트워크를 능가함을 입증한다. 주요 발견은 80–90% 스퍼시티 네트워크가 밀도 네트워크 수준의 성능을 거의 그대로 유지하며, 동적 스퍼시티와 비균일한 파라미터 할당(특히 크리틱 네트워크에 유리하게)이 최적의 성능을 낳는다는 것이다.

ABSTRACT

The use of sparse neural networks has seen rapid growth in recent years, particularly in computer vision. Their appeal stems largely from the reduced number of parameters required to train and store, as well as in an increase in learning efficiency. Somewhat surprisingly, there have been very few efforts exploring their use in Deep Reinforcement Learning (DRL). In this work we perform a systematic investigation into applying a number of existing sparse training techniques on a variety of DRL agents and environments. Our results corroborate the findings from sparse training in the computer vision domain - sparse networks perform better than dense networks for the same parameter count - in the DRL domain. We provide detailed analyses on how the various components in DRL are affected by the use of sparse networks and conclude by suggesting promising avenues for improving the effectiveness of sparse training methods, as well as for advancing their use in DRL.

연구 동기 및 목표

• 스퍼시 트레이닝 기법이 컴퓨터 비전에서 효과적인지가 딥 강화학습(DRL)으로도 전이되는지 조사하기 위해.
• 온라인 학습 환경에서 DRL 에이전트에 대해 프루닝, 스태틱 스퍼시티, SET, RigL 등의 다양한 스퍼시 트레이닝 방법의 성능을 평가하기 위해.
• 아키텍처 및 학습 초모수(예: 스퍼시티 분포, 가중치 감쇠, 배치 크기, 초기화)가 스퍼시 DRL 성능에 미치는 영향을 분석하기 위해.
• 스퍼시티가 관측 노이즈에 대한 강건성과 일반화 능력을 향상시키는지, 특히 노이즈가 있는 관측 환경에서 DRL에서 성능 향상이 이루어지는지 확인하기 위해.
• 실제 구현에 유용한 조언을 제공하기 위해, 최적의 파라미터 할당 및 스퍼시티 전략을 포함한 스퍼시 DRL 에이전트 배포 방법을 도출하기 위해.

제안 방법

• 가치 기반(DQN) 및 액터-크리틱(SAC, PPO) DRL 에이전트에 프루닝, 스태틱 스퍼시티, SET, RigL의 네 가지 스퍼시 트레이닝 알고리즘을 적용하였다.
• 구조적 스퍼시티를 위해 Erdős–Rényi 커널(ERK) 스퍼시티 분포를 사용하였으며, 액터와 크리틱 네트워크 간 비균일한 파라미터 할당을 구현하였다.
• 배치 크기, 가중치 감쇠, 초기화 방법 등을 포함한 제어된 초모수 설정 하에 여러 환경(예: Atari, MuJoCo)에서 스퍼시티를 평가하였다.
• 톱로지 업데이트 전략을 통해 동적 스퍼시티를 구현하였으며, RigL은 학습 중 기울기 기반 가중치 증가를 가능하게 하였다.
• 기울기의 신호 대 잡음비(SNR), 배치 크기, 스퍼시티 업데이트 빈도에 대한 분석을 통해 학습 안정성을 평가하기 위한 아블레이션 스터디를 수행하였다.
• GitHub(github.com/google-research/rigl/tree/master/rigl/rl)에서 제공된 코드를 재현하여 복제 가능성을 확보하였다.

실험 결과

연구 질문

• RQ1 컴퓨터 비전에서 관찰된 것과 마찬가지로, DRL에서 스퍼시 신경망이 동일한 파라미터 수에서 밀도 네트워크와 유사한 성능을 달성하는가?
• RQ2 프루닝, 스태틱 스퍼시티, SET, RigL 중에서 온라인 DRL 학습에서 가장 뛰어난 성능을 내는 스퍼시 트레이닝 방법은 무엇인가?
• RQ3 액터-크리틱 파라미터 비율과 스퍼시티 분포와 같은 아키텍처 선택이 DRL 학습의 안정성과 성능에 어떤 영향을 미치는가?
• RQ4 스퍼시티가 DRL 환경에서 관측 노이즈에 대한 강건성을 향상시키는가?
• RQ5 비전 분야에서는 성공했지만 DRL에서는 RigL이 프루닝에 비해 성능이 열등한 이유는 무엇인가? 고스퍼시티 영역에서 기울기의 낮은 신호 대 잡음비(SNR)가 원인일 수 있는가?

주요 결과

• 모든 평가된 DRL 에이전트와 환경에서 스퍼시 신경망이 동일한 파라미터 수에서 밀도 네트워크를 일관되게 능가한다.
• 스퍼시티가 80–90%에 이르는 네트워크가 밀도 기준선 대비 5% 이내의 성능을 달성하여 뛰어난 파라미터 효율성을 보였다.
• 모든 스퍼시 트레이닝 방법 중에서 프루닝이 가장 뛰어난 성능을 보였으며, 동적 스퍼시티(예: SET)는 스태틱 스퍼시티보다 뚜렷한 성능 향상을 보였다.
• 기울기 기반 성장(RigL)은 성능 향상이 제한적이었으며, 이는 고스퍼시티 학습 중 기울기의 낮은 신호 대 잡음비(SNR) 때문일 가능성이 높다.
• 비균일한 스퍼시티 분포, 특히 크리틱 네트워크에 대부분의 파라미터를 할당하고 ERK 기반 스퍼시티 패턴을 사용할 경우 최적의 성능이 달성되었다.
• 스퍼시 네트워크는 관측 노이즈에 더 강건한 것으로 나타나 일반화 능력과 실세계 적용 가능성 측면에서 잠재적 이점을 지녔다.