[논문 리뷰] PHEW: Constructing Sparse Networks that Learn Fast and Generalize Well without Training Data

Shreyas Malakarjun Patil, Constantine Dovrolis|arXiv (Cornell University)|2020. 10. 22.

Machine Learning and ELM인용 수 4

한 줄 요약

이 논문은 초기 가중치를 기반으로 한 편향된 랜덤 워크를 통해 입력-출력 경로를 선택함으로써, 훈련 데이터 없이도 빠른 수렴 속도와 뛰어난 일반화 성능을 갖는 희소 신경망을 구축하는 데이터에 무관한 방법 PHEW를 제안한다. PHEW는 훈련 데이터 없이도 다양한 아키텍처와 데이터셋에서 최신 기술 수준의 성능을 달성하며, SynFlow-L2 및 기타 초기화 시점에서의 프루닝 방법보다 더 넓은 레이어를 유지하면서도 고급 경로 커널 트레이스를 유지함으로써 슈퍼리미엄 성능을 발휘한다.

ABSTRACT

Methods that sparsify a network at initialization are important in practice because they greatly improve the efficiency of both learning and inference. Our work is based on a recently proposed decomposition of the Neural Tangent Kernel (NTK) that has decoupled the dynamics of the training process into a data-dependent component and an architecture-dependent kernel - the latter referred to as Path Kernel. That work has shown how to design sparse neural networks for faster convergence, without any training data, using the Synflow-L2 algorithm. We first show that even though Synflow-L2 is optimal in terms of convergence, for a given network density, it results in sub-networks with "bottleneck" (narrow) layers - leading to poor performance as compared to other data-agnostic methods that use the same number of parameters. Then we propose a new method to construct sparse networks, without any training data, referred to as Paths with Higher-Edge Weights (PHEW). PHEW is a probabilistic network formation method based on biased random walks that only depends on the initial weights. It has similar path kernel properties as Synflow-L2 but it generates much wider layers, resulting in better generalization and performance. PHEW achieves significant improvements over the data-independent SynFlow and SynFlow-L2 methods at a wide range of network densities.

연구 동기 및 목표

• 높은 수렴 속도를 보이지만 좁은 버티브 레이어를 유도하는 데이터에 무관한 프루닝 방법의 열악한 일반화 성능을 해결하기 위해.
• 빠른 학습을 위해 경로 커널 트레이스를 최대화하면서도, 더 나은 일반화를 위해 넓고 잘 분포된 레이어 너비를 유지하기 위한 방법을 개발하기 위해.
• 훈련 데이터 없이도 초기 네트워크 가중치와 확률적 경로 선택에 의존하여 희소 네트워크를 구축할 수 있도록 하기 위해.
• 레이어 붕괴와 최적화되지 않은 아키텍처 구조를 피하면서도 수렴 속도를 유지하는 방식으로 SynFlow-L2를 초월하기 위해.
• 가중치에 편향된 랜덤 워크를 통한 경로 기반 희소화가 다양한 아키텍처와 가중치 초기화 방식에서 뛰어난 성능을 낼 수 있음을 검증하기 위해.

제안 방법

• PHEW는 개별 연결이나 뉴런을 프루닝하는 대신, 초기 가중치 크기를 기반으로 입력-출력 경로를 선택하여 희소 네트워크를 구축한다.
• 각 레이어에서 높은 가중치를 가진 엣지를 선호하는 편향된 랜덤 워크를 사용하여, 고속 수렴을 위한 높은 경로 커널 트레이스를 보장한다.
• 개별 뉴런이나 엣지가 아닌 전체 경로를 보존함으로써 레이어 너비를 유지함으로써 버티브 레이어를 방지한다.
• 기울기 계산이나 데이터 접근 없이, 오직 초기 가중치 값만을 사용하여 훈련되지 않은 초기화된 네트워크에서만 희소화를 수행한다.
• 알고리즘은 확률적이다: 각 레이어에서 다음 경로의 선택은 들어오는 가중치의 크기에 비례한 확률로 이루어진다.
• Kaiming, Xavier, Normal 등의 다양한 가중치 초기화 방법에 대해 실험적으로 PHEW가 강건함을 입증하였으며, 이는 VGG19와 ResNet20에서 확인되었다.

실험 결과

연구 질문

• RQ1 버티브 레이어를 피하는 방식으로 SynFlow-L2보다 더 빠른 수렴 속도와 더 나은 일반화 성능을 달성할 수 있는가?
• RQ2 편향된 랜덤 워크를 통해 초기 가중치 기반 경로 선택이 균일하거나 역가중치 기반 랜덤 워크보다 더 높은 경로 커널 트레이스와 더 나은 성능을 낼 수 있는가?
• RQ3 동일한 아키텍처를 사용할 때, 다른 가중치 초기화 방법을 사용한 경우 PHEW의 성능는 무작위 프루닝 및 재초기화된 희소 네트워크와 어떻게 비교되는가?
• RQ4 PHEW가 생성한 희소 아키텍처는 초기 가중치에서 분리될 수 있는가? 즉, 가중치를 재초기화해도 성능 저하가 발생하지 않는가?
• RQ5 훈련 데이터 없이도 고경로 커널 트레이스와 넓은 레이어를 갖는 희소 네트워크를 구축할 수 있는가?

주요 결과

• PHEW는 CIFAR-10, CIFAR-100, VGG19, ResNet20에서 다양한 네트워크 밀도에서 SynFlow-L2 및 기타 데이터에 무관한 프루닝 방법보다 뚜렷한 성능 향상을 보였다.
• PHEW는 SynFlow-L2에서 흔히 발생하는 버티브 레이어를 피하면서도 높은 레이어 너비를 유지하여, 유사한 경로 커널 트레이스를 가짐에도 불구하고 더 나은 일반화 성능를 보였다.
• PHEW의 경로 커널 트레이스는 SynFlow-L2와 유사하여 유사한 수렴 속도를 보였지만, 일반화 성능는 상당히 뛰어나게 나타났다.
• PHEW의 성능는 Kaiming, Xavier, Normal 등의 다양한 가중치 초기화 방법에 대해 강건하여, 초기화 분포에 민감하지 않음을 확인하였다.
• 재초기화된 PHEW 네트워크(동일한 아키텍처이지만 새로운 가중치)는 원래 PHEW와 유사한 성능를 보였으며, 이는 아키텍처가 핵심 요소이며 초기 가중치에 의존하지 않음을 확인하였다.
• PHEW는 비편향 및 역가중치 기반 편향 랜덤 워크 변형보다 성능이 뛰어나며, 이는 낮은 경로 커널 트레이스와 느린 초반 수렴 속도를 보였기 때문이다.