[논문 리뷰] Learning Discrete Weights Using the Local Reparameterization Trick

Oran Shayer, Dan Levi외 1명|arXiv (Cornell University)|2017. 10. 21.

Advanced Neural Network Applications인용 수 11

한 줄 요약

이 논문은 중심극한정리에 따라 전활성화 분포를 가우시안으로 근사함으로써 이산 이진 또는 삼진 가중치를 갖는 딥 네ural 네트워크를 훈련하기 위해 수정된 局소 재파rameterization 기법을 도입한 LR-네트워크를 제안한다. 이 방법은 이산 가중치를 통해 효과적인 역전파를 가능하게 하여 MNIST, CIFAR-10, ImageNet에서 최신 기준 성능을 달성한다. 삼진 네트워크는 더 높은 표현 능력을 지녀 이진 네트워크보다 우수한 성능을 보인다.

ABSTRACT

Recent breakthroughs in computer vision make use of large deep neural networks, utilizing the substantial speedup offered by GPUs. For applications running on limited hardware, however, high precision real-time processing can still be a challenge. One approach to solving this problem is training networks with binary or ternary weights, thus removing the need to calculate multiplications and significantly reducing memory size. In this work, we introduce LR-nets (Local reparameterization networks), a new method for training neural networks with discrete weights using stochastic parameters. We show how a simple modification to the local reparameterization trick, previously used to train Gaussian distributed weights, enables the training of discrete weights. Using the proposed training we test both binary and ternary models on MNIST, CIFAR-10 and ImageNet benchmarks and reach state-of-the-art results on most experiments.

연구 동기 및 목표

• 저전력, 메모리 제약이 있는 하드웨어에서 이산 가중치(이진 또는 삼진)를 갖는 딥 네ural 네트워크를 훈련하는 데 도전하는 것.
• 역전파 중 이산 가중치의 비미분 가능성 문제를 해결하기 위해 전활성화 분포의 부드러운 근사치를 사용하는 것.
• 기존 방법들인 스트레이트스루 추정기나 확률적 가중치 샘플링과 비교해 훈련의 안정성과 성능을 향상시키는 것.
• 이진 가중치와 비교해 삼진 가중치가 성능과 계산 효율성 간의 더 나은 트레이드오���을 제공하는지 평가하는 것.
• 이산 전활성화의 원칙적인, 미분 가능한 근사치가 저정밀도 네트워크에서 최신 기준 성능을 달성하는 데 가능함을 보여주는 것.

제안 방법

• 모든 뉴런의 전활성화를 라플라스 중심극한정리에 기반해 가우시안 분포로 모델링하여, 미분 가능한 역전파를 가능하게 한다.
• 전활성화 분포에서 샘플링할 수 있도록 수정된 국소 재파라미터화 기법을 적용하여, 이산 가중치를 통해 기울기가 흐르도록 한다.
• 확률적 가중치는 학습된 분포에서 샘플링되며, 재파라미터화된 전활성화에서 표준 역전파를 사용해 네트워크를 훈련시킨다.
• 이진 가중치의 경우 온도 조절 시그모이드를 사용해 부호 함수를 근사하고, 삼진 가중치는 삼점 이산 분포로 모델링한다.
• 모든 설정에서 훈련의 안정성을 높이기 위해 배치 정규화, 가중치 감소, 학습률 스케줄링을 사용한다.
• 이 방법은 스트레이트스루 기울기나 별도의 확률적 가중치 업데이트가 필요로 하지 않으며, 전활성화의 연속적이고 미분 가능한 근사치에 의존한다.

실험 결과

연구 질문

• RQ1 이산 전활성화의 매끄럽고, 미분 가능한 근사치가 이진 및 삼진 가중치 네트워크의 효과적인 훈련을 가능하게 할 수 있는가?
• RQ2 제안된 방법의 성능가 기존 방법들인 스트레이트스루 추정기나 확률적 가중치 샘플링과 비교해 어떻게 다른가?
• RQ3 중심극한정리에 기반해 전활성화 분포를 모델링하는 것이 직접 기울기 근사치보다 더 나은 최적화 안정성과 정확도를 제공하는가?
• RQ4 이진 가중치 네트워크와 삼진 가중치 네트워크 사이에 뚜렷한 성능 격차가 존재하는가, 만약 그렇다면 그 이유는 무엇인가?
• RQ5 제안된 방법이 이산 가중치를 사용해 대규모 벤치마크인 ImageNet에서 최신 기준 성능을 달성할 수 있는가?

주요 결과

• ImageNet에서 제안된 삼진 LR-넷은 상위-1 오차율 36.5%를 기록하여 XNOR-Net(48.8%) 및 Binary-Weight-Network(40.1%)와 비교해 뛰어난 성능을 보였다.
• ImageNet에서 ResNet-18에 대해 삼진 LR-넷은 상위-5 오차율 15.2%를 기록했으며, 이는 이진 버전의 17.7%와 XNOR-Net의 26.8%보다 우수했다.
• MNIST 및 CIFAR-10에서 삼진 LR-넷은 정밀 모델 기준 테스트 오차율과 1-2% 이내로 매우 유사한 성능을 보이며 강력한 일반화 능력을 입증했다.
• 이진 네트워크보다 삼진 네트워크가 더 안정적으로 훈련되었고, 하이퍼파ram터 조정이 덜 필요했으며, 더 나은 최적화 역학을 보였다.
• 이 방법은 이진 및 삼진 가중치 모두를 사용해 평가된 모든 벤치마크에서 최신 기준 성능을 달성했다.
• 커널 시각화 결과, LR-넷은 특히 전정밀도 초기화를 사용할 경우, 전정밀도 필터의 구조적 패턴을 잘 유지했다.