[논문 리뷰] Deep Neural Network Capacity

Aosen Wang, Hua Zhou외 2명|arXiv (Cornell University)|2017. 08. 16.

Advanced Neural Network Applications참고 문헌 14인용 수 3

한 줄 요약

이 논문은 딥 뉴럴 네트워크 용량을 신뢰할 수 있는 정량적 측정치로 삼을 수 있는 '전체 유효 비트 수(total valid bits)'를 제안한다. 이는 훈련 중에 소수점 가중치 정규화와 8비트 양자화를 활용하고, 추론 시에는 적응형 비트폭과 비균일 양자화를 적용하여 모델 크기를 동시에 줄이고 용량을 추정한다. 이 방법은 전체 유효 비트 수가 네트워크 성능을 효과적으로 예측함을 보이며, 아키텍처 및 훈련 기법의 영향에 대한 통찰을 제공한다.

ABSTRACT

In recent years, deep neural network exhibits its powerful superiority on information discrimination in many computer vision applications. However, the capacity of deep neural network architecture is still a mystery to the researchers. Intuitively, larger capacity of neural network can always deposit more information to improve the discrimination ability of the model. But, the learnable parameter scale is not feasible to estimate the capacity of deep neural network. Due to the overfitting, directly increasing hidden nodes number and hidden layer number are already demonstrated not necessary to effectively increase the network discrimination ability. In this paper, we propose a novel measurement, named "total valid bits", to evaluate the capacity of deep neural networks for exploring how to quantitatively understand the deep learning and the insights behind its super performance. Specifically, our scheme to retrieve the total valid bits incorporates the skilled techniques in both training phase and inference phase. In the network training, we design decimal weight regularization and 8-bit forward quantization to obtain the integer-oriented network representations. Moreover, we develop adaptive-bitwidth and non-uniform quantization strategy in the inference phase to find the neural network capacity, total valid bits. By allowing zero bitwidth, our adaptive-bitwidth quantization can execute the model reduction and valid bits finding simultaneously. In our extensive experiments, we first demonstrate that our total valid bits is a good indicator of neural network capacity. We also analyze the impact on network capacity from the network architecture and advanced training skills, such as dropout and batch normalization.

연구 동기 및 목표

• 딥 뉴럴 네트워크 용량에 대한 정량적 측정치가 부족한 상황에서, 이가 모델 성능에 핵심적인 역할을 하므로 이를 보완하고자 한다.
• 파라미터 수나 과적합도와 같은 기존 측정 방식의 한계를 극복하고 네트워크 용량을 보다 정확히 추정하고자 한다.
• 용량 추정과 동시에 모델 압축을 가능하게 하는 방법을 개발하고자 한다.
• 아키텍처 설계와 훈련 기법이 네트워크 용량에 미치는 영향을 탐구하고자 한다.

제안 방법

• 훈련 중에 정수 기반 가중치 표현을 유도하기 위해 소수점 가중치 정규화를 적용한다.
• 훈련 중에 8비트 전방 양자화를 사용하여 네트워크 표현을 이산적이고 저해상도 값으로 제약한다.
• 추론 시 적응형 비트폭 양자화를 구현하여 각 레이어에 대해 비트폭을 동적으로 할당하며, 제거를 위한 0비트를 포함한다.
• 레이어의 중요도와 정보량에 따라 비트 할당을 최적화하기 위해 비균일 양자화를 도입한다.
• 훈련 및 추론 기법을 통합하여 전체 유효 비트 수를 용량 측정지표로 추출한다.
• 적응형 양자화에서 0비트를 사용하여 동시에 모델 축소와 용량 추정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 파라미터 수나 깊이/너비 외에 어떻게 딥 뉴럴 네트워크 용량을 정량적으로 측정할 수 있는가?
• RQ2 드롭아웃 및 배치 정규화와 같은 훈련 기법이 네트워크 용량에 얼마나 큰 영향을 미치는가?
• RQ3 모델 용량을 반영하면서도 효율적인 모델 압축을 가능하게 하는 통합 측정지표를 유도할 수 있는가?
• RQ4 0비트를 포함한 적응형 비트폭 양자화가 용량 추정과 모델 크기 감소를 동시에 어떻게 지원하는가?

주요 결과

• 전체 유효 비트 수는 다양한 아키텍처에서 네트워크 용량의 강력한 지표로 기능하며, 모델 성능과 상관관계가 높다.
• 제안된 방법은 적응형 비트폭 할당을 통해 용량 추정과 동시에 모델 압축을 성공적으로 구현한다.
• 네트워크 용량은 아키텍처 설계에 의해 크게 영향을 받으며, 더 깊거나 넓은 네트워크일수록 유효 비트 수가 높게 나타난다.
• 배치 정규화나 드롭아웃과 같은 고급 훈련 기법은 전체 유효 비트 수에 측정 가능한 영향을 미치며, 이는 정보 유지 능력 향상에 기여함을 시사한다.
• 적응형 양자화에서 0비트를 사용하면 성능 손실 없이 효과적인 채널 프루닝과 모델 축소가 가능하며, 용량 추정 정확도도 유지된다.
• 실험 결과는 전체 유효 비트 수가 파라미터 수나 깊이/너비만으로는 설명할 수 없는 진정한 정보 구분 능력을 더 잘 반영함을 확인한다.