[논문 리뷰] Pruning untrained neural networks: Principles and Analysis

Soufiane Hayou, Jean-François Ton외 2명|arXiv (Cornell University)|2020. 02. 19.

Machine Learning and Data Classification참고 문헌 36인용 수 10

한 줄 요약

이 논문은 신경망을 초기화 시점에 프루닝하는 이론적 분석을 제시하며, 완전한 레이어 프루닝 등의 문제를 피하면서도 학습 가능한 희소 아키텍처를 만드는 원칙적인 방법을 제안한다. 이 방법은 이론적 보장을 통해 구조적 탄탄함과 향상된 학습 가능성을 확보하며, 다양한 아키텍처에서 일관된 성능 향상을 입증한다.

ABSTRACT

Overparameterized Neural Networks (NN) display state-of-the art performance. However, there is a growing need for smaller, energy-efficient, neural networks to be able to use machine learning applications on devices with limited computational resources. A popular approach consists of using pruning techniques. While these techniques have traditionally focused on pruning pre-trained NN (LeCun et al., 1990; Hassibi et al., 1993), recent work by Lee et al. (2018) has shown promising results when pruning at initialization. However, such procedures remain unsatisfactory as the resulting pruned networks can be difficult to train and, for instance, they do not prevent one layer being fully pruned. In this paper we provide a comprehensive theoretical analysis of pruning at initialization and training of sparse architectures. This allows us to propose novel principled approaches which we validate experimentally on a variety of NN architectures.

연구 동기 및 목표

• 자원 제약이 있는 장치를 위한 에너지 효율적이고 소형의 신경망을 구축하는 도전 과제를 해결한다.
• 기존의 비정형 프루닝 방법의 한계를 극복한다. 초기화 시점에서 실패하는 경우, 예를 들어 전체 레이어가 제거되는 경우가 있다.
• 초기화 시점부터 네트워크의 구조와 학습 가능성을 유지하는 이론적으로 탄탄한 프루닝 기법을 개발한다.
• 원칙적인 설계를 통해 다양한 아키텍처에서 프루닝된 네트워크의 강건성과 일반화 능력을 확보한다.

제안 방법

• 네트워크 초기화 시점에서의 프루닝에 대한 종합적인 이론적 분석을 수행하며, 구조적 및 최적화 성질에 중점을 둔다.
• 이론적 통찰에서 유도된 새로운 프루닝 기준을 도입하여, 초기화 시 희소성 패턴을 안내한다.
• 프루닝된 아키텍처가 효과적인 학습을 위해 충분한 연결성과 기울기 흐름을 유지하도록 보장한다.
• 피드포워드 및 컨볼루션 네트워크를 포함한 다양한 신경망 아키텍처에서 제안된 방법을 실험적으로 검증한다.
• 이론적 분석을 통해 초기화 이후 전체 레이어가 제거되는 등의 극단적 사례를 방지한다.
• 프루닝된 네트워크가 학습 가능하고 잘 일반화되도록 하는 조건을 수립한다.

실험 결과

연구 질문

• RQ1 어떤 이론적 조건이 희소 연결로 초기화된 프루닝된 신경망이 학습 가능하게 유지되는지를 보장하는가?
• RQ2 초기화 시점에서의 프루닝은 어떻게 설계되어야 전체 레이어가 제거되거나 구조적 붕괴를 방지할 수 있는가?
• RQ3 초기화 시점에서 프루닝된 가중치의 선택을 규정짓는 원칙은 무엇이며, 최적화 역학을 어떻게 유지하는가?
• RQ4 이론적 보장은 다양한 네트워크 아키텍처에서 어떻게 실증 성능로 번역되는가?
• RQ5 초기화 시점에 프루닝된 희소 아키텍처는 밀도 있는 사전 훈련된 모델과 비교해 유사한 성능을 달성할 수 있는가?

주요 결과

• 이론적 분석은 프루닝이 구조적 조건과 기울기 흐름 조건을 만족할 경우 초기화 시점에 학습 가능성을 유지할 수 있음을 드러낸다.
• 제안된 프루닝 방법은 이전 접근 방식에서 흔히 발생하는 전체 레이어가 제거되는 문제를 방지한다.
• 제안된 방법을 통해 생성된 희소 아키텍처는 다양한 네트워크 아키텍처에서 경쟁적인 성능을 달성한다.
• 이론적 통찰은 최적화 안정성과 일반화 능력을 유지하는 프루닝 전략 설계를 가능하게 한다.
• 실험적 검증을 통해 프루닝된 네트워크가 다양한 아키텍처에서 학습 가능하고 효과적인 것으로 확인되었다.