[논문 리뷰] Ternary Weight Networks

Fengfu Li, Bin Liu외 3명|arXiv (Cornell University)|2016. 05. 16.

Advanced Neural Network Applications참고 문헌 21인용 수 758

한 줄 요약

이 논문은 가중치가 +1, 0, -1인 삼진 가중치 네트워크(TWNs)를 확장 계수로 보정하여 전체 정밀도 가중치를 근사하고, 시각 작업에서 모델 압축과 정확도 측면에서 큰 성과를 보이며 이진 네트보다 더 나은 탐지 성능을 달성합니다.

ABSTRACT

We present a memory and computation efficient ternary weight networks (TWNs) - with weights constrained to +1, 0 and -1. The Euclidian distance between full (float or double) precision weights and the ternary weights along with a scaling factor is minimized in training stage. Besides, a threshold-based ternary function is optimized to get an approximated solution which can be fast and easily computed. TWNs have shown better expressive abilities than binary precision counterparts. Meanwhile, TWNs achieve up to 16$ imes$ model compression rate and need fewer multiplications compared with the float32 precision counterparts. Extensive experiments on MNIST, CIFAR-10, and ImageNet datasets show that the TWNs achieve much better result than the Binary-Weight-Networks (BWNs) and the classification performance on MNIST and CIFAR-10 is very close to the full precision networks. We also verify our method on object detection task and show that TWNs significantly outperforms BWN by more than 10\% mAP on PASCAL VOC dataset. The pytorch version of source code is available at: https://github.com/Thinklab-SJTU/twns.

연구 동기 및 목표

• 에지 디바이스를 위한 딥 뉴럴 네트워크의 저장소 및 연산 감소를 동기부여한다.
• 전체 정밀도 가중치를 근사하기 위한 확장 계수 스케일링이 포함된 삼진 가중치 양자화를 제안한다.
• 삼진화 가중치를 효율적으로 얻기 위한 임계값 기반 삼진 함수 개발.
• 삼진 가중치를 활용하는 훈련 및 추론 절차를 최소한의 곱셈으로 가능하게 한다.
• 분류 및 탐지 과제에서 TWN과 전체 정밀 및 이진 가중치 네트워크를 비교하는 실험적 결과를 제시한다.

제안 방법

• 목표를 전체 정밀 가중치와 스케일된 삼진 가중치 간의 유클리드 거리 최소화로 표현하고 ||W - αW~||2를 최소화하되 W~ ∈ {-1,0,1}로 설정한다.
• 임계값 기반의 삼진 함수 W~i = f(Wi|Δ)로 가중치를 {-1,0,1}로 매핑한다.
• 축소된 최적화를 해결하기 위해 α*와 Δ*를 도출하고 Δ*는 W의 통계에 기반한 경험 규칙으로 근사하며 Δ* ≈ 0.75 E|W|이다.
• 업데이트를 위한 전체 정밀 가중치 복사본을 유지하되 순전파/역전파에서 삼진화를 적용하여 네트워크를 학습한다.
• 레이어를 가로질러 W와 α를 업데이트하는 SGD(모멘텀), 배치 정규화, 학습률 계단 감소를 따르는 절차를 사용한다.
• 추론 시 삼진 가중치에 스케일링 계수 α를 적용하여 저장 공간이 줄어든 상태로 배치를 가능하게 한다.

실험 결과

연구 질문

• RQ1 임계값 Δ를 최적화하여 정확도와 압축 사이의 균형을 달성하면서 삼진 가중치(+1, 0, -1)와 확장 계수로 전체 정밀 가중치를 효과적으로 근사할 수 있는가?
• RQ2 정확도와 압축 간의 균형을 맞추기 위해 삼진화 임계값 Δ를 어떻게 최적으로 선택할까?
• RQ3 TWNs가 FPWN 및 BPWN과 비교하여 분류 및 탐지 과제에서 경쟁력 있는 성능을 제공하는가?
• RQ4 표준 시각 벤치마크에서 FPWNs 및 BPWNs에 비해 모델 크기와 계산에 대한 TWNs의 영향은 어느 정도인가?
• RQ5 전체 정밀 가중치 업데이트를 포함한 전방/후방 삼진화를 통한 제시된 학습 전략이 아키텍처 전반에서 실용적이고 안정적인가?

주요 결과

• TWNs는 이진 네트와 유사한 컨볼루션 연산으로 최대 16배의 모델 압축을 달성한다.
• MNIST 및 CIFAR-10에서 TWNs는 FPWNs에 근접한 정확도를 보이고 BPWNs보다 우수하다.
• ImageNet에서 TWNs는 FPWNs와의 간격을 크게 좁히며, 특히 더 큰 백본에서 FPWNs보다 정확도 손실이 작다.
• 객체 탐지(PASCAL VOC의 YOLOv5)에서 TWNs는 BPWNs보다 mAP가 10%포인트 이상 더 나으며 FPWNs에 가까워진다.
• TWNs는 FPWNs만큼 빠르고 안정적으로 수렴하며 BPWNs보다 학습 안정성이 우수하다.