[논문 리뷰] Deep neural networks are robust to weight binarization and other non-linear distortions

Paul Merolla, Rathinakumar Appuswamy외 3명|arXiv (Cornell University)|2016. 06. 07.

Advanced Neural Network Applications참고 문헌 27인용 수 77

한 줄 요약

이 논문은 가중치 투영(예: 이진화, 클리핑, 또는 확률적 간격 투영)을 사용해 훈련된 딥 네ural 네트워크가 추가적 및 곱셈적 노이즈를 포함한 다양한 비선형 왜곡에 강건해지는 것으로 보여준다. 본 논문은 데이터 증강 없이 CIFAR-10에서 SOTA 7.64% 테스트 오차를 달성하는 새로운 확률적 투영 규칙을 도입하며, 훈련 중에 명시적 양자화 없이도 강건성이 발생함을 시사한다.

ABSTRACT

Recent results show that deep neural networks achieve excellent performance even when, during training, weights are quantized and projected to a binary representation. Here, we show that this is just the tip of the iceberg: these same networks, during testing, also exhibit a remarkable robustness to distortions beyond quantization, including additive and multiplicative noise, and a class of non-linear projections where binarization is just a special case. To quantify this robustness, we show that one such network achieves 11% test error on CIFAR-10 even with 0.68 effective bits per weight. Furthermore, we find that a common training heuristic--namely, projecting quantized weights during backpropagation--can be altered (or even removed) and networks still achieve a base level of robustness during testing. Specifically, training with weight projections other than quantization also works, as does simply clipping the weights, both of which have never been reported before. We confirm our results for CIFAR-10 and ImageNet datasets. Finally, drawing from these ideas, we propose a stochastic projection rule that leads to a new state of the art network with 7.64% test error on CIFAR-10 using no data augmentation.

연구 동기 및 목표

• 가중치 투영을 사용해 훈련된 딥 네ural 네트워크가 훈련 중에 사용된 특정 왜곡 이외의 왜곡에도 강건한가를 조사하는 것.
• 양자화되지 않은 가중치 투영 또는 단순 가중치 클리핑만으로도 강건한 모델을 얻을 수 있는가를 판단하는 것.
• 이미지 분류 벤치마크에서 강건성과 성능을 향상시키는 새로운 확률적 투영 규칙을 개발하는 것.
• CIFAR-10 및 ImageNet을 포함한 여러 데이터셋에서 강건성과 성능 향상의 일반화를 검증하는 것.
• 왜곡된 기울기와 함께 백프로파게이션 중에 이러한 강건성이 어떻게 발생하는지 이론적 배경을 탐색하는 것.

제안 방법

• 저자들은 기존의 이산적 양자화 수준이 아닌 현재 값 중심의 무작위 간격으로 각 가중치를 매핑하는 새로운 확률적 투영 규칙을 제안한다.
• 훈련 중에 네트워크는 전방 및 역방향 전파에서 투영된 가중치를 사용하지만, 진짜 가중치는 기울기 하강법으로 갱신된다.
• 투영 함수의 확률적 성격을 통해 기울기 스무딩을 활용함으로써, 다양한 왜곡에 강건한 해에 수렴하는 데 기여한다.
• 표준 DNN을 사용해 CIFAR-10 및 ImageNet에서 평가하며, 다양한 투영 유형과 클리핑 전략에 대한 분석을 수행한다.
• 이론적 분석은 투영의 확률적 성격으로 인해 부드러운 오차 표면 위의 기대 손실을 최소화하는 훈련 목표로 기능함을 프레임워크화한다.
• 훈련 중에 투영의 노이즈 스케일을 점차 줄여가며 확률적 성격을 감소시켜 표준 백프로파게이션으로 수렴하도록 한다.

실험 결과

연구 질문

• RQ1 비양자화된 가중치 투영을 사용해 훈련된 딥 네ural 네트워크도 여전히 가중치 왜곡에 강건한가?
• RQ2 양자화 없이도 단순 가중치 클리핑만으로도 기초적인 수준의 강건성이 발생하는가, 즉 명시적 양자화 없이도?
• RQ3 가중치를 무작위 간격으로 매핑하는 새로운 확률적 투영 규칙이 기존의 양자화 기반 방법보다 우수한 성능을 낼 수 있는가?
• RQ4 테스트 시 관찰된 강건성이 추가적 및 곱셈적 노이즈와 같은 다양한 유형의 왜곡으로 일반화되는가?
• RQ5 확률적 가중치 투영이 왜 부드러운 오차 표면과 더 나은 일반화를 이끌어내는가에 대한 이론적 메커니즘은 무엇인가?

주요 결과

• 제안된 확률적 투영 규칙을 사용해 훈련한 ResNet-56 모델은 데이터 증강 없이도 CIFAR-10에서 7.64% 테스트 오차를 기록하며, 바이너리 웨이트 네트워크의 새로운 SOTA를 수립한다.
• 매우 낮은 정밀도 표현인 0.68비트의 효과적 가중치당 비트 수조차도 CIFAR-10에서 11% 테스트 오차를 달성하며, 극도로 저정밀도 표현에 대한 강건성을 입증한다.
• 양자화나 투영 없이도 단순 가중치 클리핑만으로도 훈련된 네트워크는 여전히 기초적인 수준의 왜곡에 대한 강건성을 보이지만, 전체 투영을 사용한 경우보다 성능는 약간 낮다.
• 이론적 분석은 확률적 투영이 오차 표면을 부드럽게 만들어 훈련 중 더 안정적이고 일반화 가능한 해를 도출함을 확인한다.
• 이러한 결과는 ImageNet에서도 일반화되며, 다양한 네트워크 아키텍처와 투영 전략에서 유사한 강건성과 성능 향상이 관찰된다.