[논문 리뷰] Finding trainable sparse networks through Neural Tangent Transfer

Tianlin Liu, Friedemann Zenke|arXiv (Cornell University)|2020. 06. 15.

Neural Networks and Applications참고 문헌 35인용 수 4

한 줄 요약

이 논문은 레이블이 없는 사전 예측 프루닝 방법인 신경 탄성 전이(Neural Tangent Transfer, NTT)를 소개한다. NTT는 뉴럴 탄성 커널(NTK)으로 특징화된 훈련 동역학을 기반으로, 희소 신경망이 밀도 있는 네트워크와 유사한 훈련 동역학을 가지도록 하여 훈련 가능한 희소 신경망을 식별한다. 이 방법은 레이블 데이터에 의존하지 않으며, 특히 합성곱 레이어의 희소화에서 뛰어난 성능을 보이며, 희소 합성곱 네트워크의 수렴 속도를 높이고 정확도를 향상시킨다.

ABSTRACT

Deep neural networks have dramatically transformed machine learning, but their memory and energy demands are substantial. The requirements of real biological neural networks are rather modest in comparison, and one feature that might underlie this austerity is their sparse connectivity. In deep learning, trainable sparse networks that perform well on a specific task are usually constructed using label-dependent pruning criteria. In this article, we introduce Neural Tangent Transfer, a method that instead finds trainable sparse networks in a label-free manner. Specifically, we find sparse networks whose training dynamics, as characterized by the neural tangent kernel, mimic those of dense networks in function space. Finally, we evaluate our label-agnostic approach on several standard classification tasks and show that the resulting sparse networks achieve higher classification performance while converging faster.

연구 동기 및 목표

• 밀도 있는 네트워크와 유사한 훈련 동역학을 유지하는 레이블이 없는 훈련 가능한 희소 신경망을 식별하는 데 목적이 있다.
• 레이블 데이터나 전역 프루닝 기준에 의존하는 기존의 사전 예측 프루닝 방법의 한계를 극복하는 데 목적이 있다.
• 에너지 효율적인 추론을 위해 계산 비용이 큰 합성곱 필터의 효과적인 계층별 희소화를 가능하게 하는 데 목적이 있다.
• 신경 탄성 커널(NTK)을 활용하여 희소 네트워크가 잘 일반화되고 신속하게 훈련되도록 보장하는 데 목적이 있다.
• 이니셜라이제이션 기반의 이론적으로 탄탄한 접근 방식을 제공하여, 밀도 있는 네트워크의 훈련 동역학을 희소 네트워크로 전이하는 데 목적이 있다.

제안 방법

• 이 방법은 초기화 단계에서 희소 네트워크와 밀도 있는 네트워크의 기능 공간 훈련 동역학을 뉴럴 탄성 커널(NTK)을 사용해 비교한다.
• 희소 네트워크의 NTK가 기능 공간에서 밀도 있는 네트워크의 NTK에서 벗어나지 않도록 최소화하는 프루닝 기준을 수립한다.
• 이 방법은 레이블에 의존하지 않으며, 뉴럴 탄성 커널 행렬을 계산하고 프루닝을 이끄는 데 오직 비라벨 데이터만을 사용한다.
• NTT는 계산 효율성을 극대화하기 위해 합성곱 필터를 대상으로 하여 계층별로 프루닝을 수행한다.
• 이 방법은 밀도 있는 네트워크의 훈련 궤적을 유지하는 희소 네트워크 구조를 식별하여, 빠른 수렴과 높은 정확도를 보장한다.
• 선형화된 신경망과 NTK 이론에서 도출된 이론적 통찰을 활용하여 안정적이고 일반화 가능한 훈련 동역학을 보장한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 방법이 밀도 있는 네트워크와 유사한 훈련 동역학을 가지는 훈련 가능한 희소 신경망을 식별할 수 있는가?
• RQ2 NTT는 계층별로 합성곱 필터를 효과적으로 희소화하여 CNN의 에너지 효율성을 향상시킬 수 있는가?
• RQ3 NTT는 수렴 속도와 최종 정확도 측면에서 기존의 사전 예측 프루닝 방법보다 뛰어나게 성능을 내는가?
• RQ4 NTT의 성능은 다양한 희소성 수준과 아키텍처에서 어떻게 변화하는가?
• RQ5 감독 신호가 필요 없이 NTK 기반의 훈련 동역학이 밀도 있는 네트워크에서 희소 네트워크로 전이될 수 있는가?

주요 결과

• NTT는 어떤 레이블 데이터도 사용하지 않고 훈련 가능한 희소 네트워크를 성공적으로 식별하여, 데이터가 부족한 상황에서 유용하다.
• CIFAR-10 및 MNIST 벤치마크에서 기준 프루닝 방법보다 높은 분류 정확도를 달성한다.
• NTT는 더 적은 에포크 수로도 높은 정확도에 도달할 수 있도록 더 빠른 수렴을 가능하게 하였다.
• NTT를 통한 계층별 프루닝은 합성곱 필터를 희소화하여 CNN 내 주요 FLOPs 원천인 계산 비용을 크게 감소시켰다.
• 1% 희소성에서 최대 4배의 이론적 속도 향상이 달성되었으며, 정확도 저하가 최소한이었으며, 강력한 효율-정확도 트레이드오프를 보였다.
• 특히 전역 프루닝이 실패하는 합성곱 레이어에서, NTT는 기존의 사전 예측 프루닝 방법보다 훈련 동역학을 더 잘 유지하는 데 성공했다.