[논문 리뷰] The Difficulty of Training Sparse Neural Networks

Utku Evci, Fabian Pedregosa외 2명|arXiv (Cornell University)|2019. 06. 25.

Advanced Neural Network Applications참고 문헌 25인용 수 32

한 줄 요약

이 논문은 왜 처음부터 학습하거나 프루닝으로 얻은 희소 신경망이 서로 다른 결과를 내는지 분석하며, 프루닝으로의 단조로운 경로가 있지만 희소 해들 간의 장벽은 조밀한 연결이 허용되지 않으면 존재한다.

ABSTRACT

We investigate the difficulties of training sparse neural networks and make new observations about optimization dynamics and the energy landscape within the sparse regime. Recent work of \citep{Gale2019, Liu2018} has shown that sparse ResNet-50 architectures trained on ImageNet-2012 dataset converge to solutions that are significantly worse than those found by pruning. We show that, despite the failure of optimizers, there is a linear path with a monotonically decreasing objective from the initialization to the "good" solution. Additionally, our attempts to find a decreasing objective path from "bad" solutions to the "good" ones in the sparse subspace fail. However, if we allow the path to traverse the dense subspace, then we consistently find a path between two solutions. These findings suggest traversing extra dimensions may be needed to escape stationary points found in the sparse subspace.

연구 동기 및 목표

• 희소 신경망에서의 최적화 역학과 에너지 지형을 이해한다.
• 프루닝 기반 방법이 처음부터 또는 로또 초기화로 학습한 희소 네트워크보다 더 우수한 이유를 조사한다.
• 초기화와 희소 해 간의 보간 경로를 조사하여 희소 부분 공간의 장벽을 식별한다.
• 희소성 제약 제거(조밀한 연결 허용)가 국부적 최저점에서 벗어나는데 도움이 되는지 평가한다.
• 희소성 중심 모델에서의 초기화, 정규화 및 최적화에 대한 향후 방법에 정보를 제공한다.

제안 방법

• 다양한 희소성 구간에서 ImageNet-2012에 대해 ResNet-50을 훈련한다.
• 크기 기반 프루닝을 사용하여 미리 정의된 희소성 목표에 도달한다.
• 프루닝 기반 해를 처음부터(스크래치) 및 로또 희소 초기화와 비교한다.
• 초기화와 프루닝 해 사이를 희소 및 조밀한 부분공간 모두에서 선형 보간 및 베지어 곡선으로 보간한다.
• 보간 경로 상의 목적 함수를 평가하여 에너지 지형과 장벽을 연구한다.

실험 결과

연구 질문

• RQ1 처음부터 학습하거나 로또 초기화로 학습된 희소 네트워크가 프루닝 결과와 일치하지 못하는 이유는 무엇인가?
• RQ2 희소 부분공간 내에서 초기화에서 프루닝 해까지 단조롭게 감소하는 경로가 있는가?
• RQ3 희소성을 조밀한 연결로 완화했을 때 희소 해들 사이의 경로가 존재하는가?
• RQ4 조밀한 연결 허용이 희소 영역에서 나쁜 정지점에서 벗어나는데 무엇을 의미하는가?

주요 결과

• 희소 부분공간 내에서 초기화에서 프루닝 해로의 단조롭게 감소하는 경로가 선형 보간을 따라 존재한다.
• 스크래치와 프루닝 해 사이의 선형 경로는 높은 에너지 장벽을 보이며, 이차/삼차 베지어 곡선은 희소 부분공간에서 감소하는 경로를 제공하지 못한다.
• 희소성 제약 제거(밀도 해제)는 두 개의 희소 해 사이에서 감소하는 목적 함수 베지에 곡선을 가능하게 하며, 조밀한 연결이 정지점에서 벗어나는데 도움을 시사한다.
• 밀도 부분공간의 경로는 두 희소 해 사이에서 일관되게 감소하는 목적 함수 곡선을 찾으며, 희소 부분공간 정체를 벗어나려면 추가 차원이 필요함을 나타낸다.
• 프루닝 해는 희소 영역의 최적화 역학으로 인해 처음부터나 로또 초기화로는 여전히 도달하기 어렵지만, 프루닝으로의 단조 경로가 존재한다.