[논문 리뷰] Stochastic Layer-Wise Precision in Deep Neural Networks

Griffin Lacey, Graham W. Taylor외 1명|arXiv (Cornell University)|2018. 07. 03.

Adversarial Robustness in Machine Learning참고 문헌 1인용 수 3

한 줄 요약

이 논문은 Gumbel-Softmax 샘플링을 사용하여 훈련 중에 각 레이어가 동적으로 다양한 비트 폭을 탐색하는 확률적이고 계층 기반 정밀도 할당 방법을 제안한다. 고정된 예산 하에서 최적의 정밀도 구성(configuration)을 학습하며, MNIST 및 ILSVRC12에서 균일 정밀도 기반 모델보다 일반화 성능을 향상시켜 MNIST에서 최대 1.41%의 오차 감소와 ILSVRC12에서 2.22%의 오차 감소를 달성한다.

ABSTRACT

Low precision weights, activations, and gradients have been proposed as a way to improve the computational efficiency and memory footprint of deep neural networks. Recently, low precision networks have even shown to be more robust to adversarial attacks. However, typical implementations of low precision DNNs use uniform precision across all layers of the network. In this work, we explore whether a heterogeneous allocation of precision across a network leads to improved performance, and introduce a learning scheme where a DNN stochastically explores multiple precision configurations through learning. This permits a network to learn an optimal precision configuration. We show on convolutional neural networks trained on MNIST and ILSVRC12 that even though these nets learn a uniform or near-uniform allocation strategy respectively, stochastic precision leads to a favourable regularization effect improving generalization.

연구 동기 및 목표

• 레이어 간 이질적인 정밀도 할당이 균일 정밀도에 비해 딥 네트워크 성능을 향상시키는지 조사하기.
• 고정된 총 비트 예산 하에서 각 레이어의 최적 정밀도 구성(configuration)을 학습하기 위한 미분 가능하고 확률적인 메커니즘 개발하기.
• 확률적 정밀도 탐색이 정규화 기법으로 작용하여 하드웨어 가속화 예측 가능성 손실 없이 일반화 성능을 향상시키는지 평가하기.
• Gumbel-Softmax 샘플링을 통한 정밀도 학습이 고정된 균일 정밀도 설정보다 더 높은 정확도를 달성하는지 입증하기.

제안 방법

• 이 방법은 각 레이어의 정밀도를 훈련 중에 다양한 비트 폭으로 샘플링하기 위해 Gumbel-Softmax 리프레시를 사용하여 이산 정밀도 선택에 대한 미분 가능 최적화를 가능하게 한다.
• 각 레이어의 정밀도는 가능한 비트 폭에 대한 이항 분포로 모델링되며, 네트워크에 의해 학습 가능한 로짓으로 매개변수화된다.
• 총 정밀도 예산이 제약 조건으로 설정되어 있어 하드웨어 가속화의 예측 가능성을 보장하고 효율적인 구현을 가능하게 한다.
• 재파arameterization을 통한 기울기 추정을 통해 비록 정밀도가 이산이지만, 역전파가 가능한 정밀도 선택에 대해도 역전파를 수행할 수 있다.
• 표준 역전파를 사용하여 전방향 계산마다 확률적 비트 폭 할당을 적용하면서 엔드 투 엔드로 모델을 훈련한다.
• 추론 단계에서는 학습된 Gumbel-Softmax 분포에서 가장 가능성 높은 정밀도 구성으로 하드 할당을 수행한다.

실험 결과

연구 질문

• RQ1 레이어 간 이질적인 정밀도 할당이 균일 정밀도 할당에 비해 딥 네트워크 성능을 향상시키는가?
• RQ2 정밀도 구성의 확률적 탐색이 정규화 기법으로 작용하여 일반화 성능을 향상시키는가?
• RQ3 동일한 총 비트 예산 하에서 이미지 분류 작업에서 학습된 정밀도 할당이 균일 할당보다 어떻게 비교되는가?
• RQ4 모델이 초기 레이어에는 더 적은 비트를, 더 깊은 레이어에는 더 많은 비트를 할당하는 등 의미 있는 정밀도 분포를 학습하는가?
• RQ5 이 방법은 정확도 향상과 함께 하드웨어 가속화 예측 가능성의 유지가 가능한가?

주요 결과

• MNIST에서 10비트 예산 하에 학습된 정밀도 모델은 테스트 오차 2.32%를 기록했으며, 이는 균일 기반 모델의 3.73%보다 우수하다.
• MNIST에서 40비트 예산 하에 학습된 모델은 1.14%의 오차를 기록했고, 균일 기반 모델의 1.18%보다 우수했다.
• ILSVRC12에서 14비트 예산 하에 학습된 정밀도 모델은 상위-1 오차를 균일 기반의 49.68%에서 48.54%로 감소시켰다.
• ILSVRC12 모델은 비균일 할당을 학습했으며, 후행 레이어에 9비트, 초기 레이어에 3~4비트를 할당하여 아키텍처 인식 능력을 보였다.
• 학습된 정밀도 구성은 모든 예산에서 일관되게 더 빠르게 수렴하고 더 낮은 테스트 오차를 기록했으며, 정규화 효과를 입증했다.
• 동일한 비트 예산 하에서 더 높은 정확도를 달성했으며, 이는 정밀도 할당이 모델 효율성과 성능 향상에 기여하는 조정 가능한 학습 가능한 하이퍼파rameter임을 보여준다.