[논문 리뷰] Towards a Theoretical Understanding of Hashing-Based Neural Nets

Yibo Lin, Zhao Song외 1명|arXiv (Cornell University)|2018. 12. 26.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 히싱 기반 신경망 압축에 대한 최초의 이론적 보장을 제공하며, 히싱을 통한 무작위 선형 스케치가 저차원 다양체 위에서 네트워크 성능을 유지함을 보여준다. 스케치된 네트워크가 원본 네트워크를 근사할 수 있음을 증명하고, 한 은닉층을 가진 HashedNets가 국소적으로 강한 볼록성 성질을 가지며, 약한 조건 하에서 매개변수 복원이 가능함을 보여준다.

ABSTRACT

Parameter reduction has been an important topic in deep learning due to the ever-increasing size of deep neural network models and the need to train and run them on resource limited machines. Despite many efforts in this area, there were no rigorous theoretical guarantees on why existing neural net compression methods should work. In this paper, we provide provable guarantees on some hashing-based parameter reduction methods in neural nets. First, we introduce a neural net compression scheme based on random linear sketching (which is usually implemented efficiently via hashing), and show that the sketched (smaller) network is able to approximate the original network on all input data coming from any smooth and well-conditioned low-dimensional manifold. The sketched network can also be trained directly via back-propagation. Next, we study the previously proposed HashedNets architecture and show that the optimization landscape of one-hidden-layer HashedNets has a local strong convexity property similar to a normal fully connected neural network. We complement our theoretical results with empirical verifications.

연구 동기 및 목표

• 신경망 압축 분야에서의 경험적 성공과 이론적 이해 사이의 격차를 메우기 위해.
• 딥 러닝에서 히싱 기반 매개변수 감소 방법에 대한 엄밀한 이론적 근거를 제공하기 위해.
• 무작위 선형 스케칭을 사용한 스케칭 기반 신경망 압축에 대한 근사 보장을 수립하기 위해.
• HashedNets의 최적화 지형을 분석하고, 한 은닉층을 가진 네트워크에서 국소적으로 강한 볼록성 성질을 보여주기 위해.
• 약한 가정 하에 HashedNets의 매개변수를 증명 가능하게 복원할 수 있는지 검토하기 위해.

제안 방법

• 무작위 선형 스케칭을 활용한 신경망 압축 기법을 제안하며, 히싱 함수를 통해 효율적으로 구현한다.
• 하위공간 임bedding 이론을 사용하여 스케칭이 낮은 차원의 다양체 위에서 내적을 높은 확률로 유지함을 보여준다.
• 가중치 행렬에 스케칭을 적용하여 해시 버킷 간의 가중치 공유를 강제함으로써 매개변수를 감소시킨다.
• 한 은닉층을 가진 HashedNets의 최적화 지형을 분석하고, 완전 연결 네트워크와 유사한 국소적으로 강한 볼록성 성질을 증명한다.
• 균일한 버킷 분포와 이론적 보장을 확보하기 위해 k-독립적 히싱 함수를 사용한다.
• 집중 부등식과 확률적 경계(예: 보조정리 C.12)를 사용하여 해시 버킷 점유율과 행렬 질서 성질을 분석한다.

실험 결과

연구 질문

• RQ1 히싱 기반 압축이 매끄럽고 낮은 차원의 데이터 다양체 위에서 딥 신경망의 근사 능력을 유지할 수 있는가?
• RQ2 HashedNets의 최적화 지형은 국소적으로 강한 볼록성과 같은 유리한 성질을 보이는가?
• RQ3 약한 가정 하에 한 은닉층을 가진 HashedNet의 매개변수를 경사 하강법을 통해 증명 가능하게 복원할 수 있는가?
• RQ4 히싱을 통한 무작위 선형 스케칭은 압축된 네트워크의 일반화 및 학습 역학에 어떤 영향을 미치는가?
• RQ5 히싱 기반 신경망에 대해 어떤 이론적 보장(안정성 및 수렴성)을 제공할 수 있는가?

주요 결과

• 스케치된 네트워크는 매끄럽고 잘 조절된 낮은 차원의 다양체에서의 모든 입력에 대해 높은 확률로 원본 네트워크를 근사한다.
• 스케칭 방법은 데이터 포인트 간 내적을 ε-근사 범위 내에서 유지함으로써 정확한 함수 근사를 가능하게 한다.
• 약한 조건 하에서 한 은닉층을 가진 HashedNets의 최적화 목표 함수는 완전 연결 네트워크와 유사하게 국소적으로 강한 볼록성 성질을 보인다.
• Zhong 등(2017b)의 알고리즘을 사용해 HashedNets에 좋은 초기화를 확보할 수 있으며, 이는 증명 가능한 매개변수 복원을 가능하게 한다.
• 실험 결과는 HashedNets의 가중치 행렬이 낮은 조건수와 안정적인 질서와 같은 유리한 수치적 성질을 유지함을 확인한다.
• 이론적 분석은 t-독립적 히싱을 사용할 경우 t=Θ(log N) 또는 t=Θ(log B)일 때 높은 확률로 해시 버킷이 균일하게 입력을 분포시킴을 보여준다.