[논문 리뷰] DeepCABAC: Context-adaptive binary arithmetic coding for deep neural network compression

Simon Wiedemann, Heiner Kirchhoffer외 10명|arXiv (Cornell University)|2019. 05. 15.

Advanced Data Compression Techniques인용 수 10

한 줄 요약

DeepCABAC는 비율-왜곡 최적화를 통해 양자화와 엔트로피 코딩을 공동으로 최적화함으로써 깊이 신경망을 압축하기 위한 맥락 적응형 이元 산술 코딩 방법을 제안한다. VGG16에서 정확도 손실 없이 63.6× 압축률을 달성하며, 모델 크기를 단 8.7MB로 줄였다.

ABSTRACT

We present DeepCABAC, a novel context-adaptive binary arithmetic coder for compressing deep neural networks. It quantizes each weight parameter by minimizing a weighted rate-distortion function, which implicitly takes the impact of quantization on to the accuracy of the network into account. Subsequently, it compresses the quantized values into a bitstream representation with minimal redundancies. We show that DeepCABAC is able to reach very high compression ratios across a wide set of different network architectures and datasets. For instance, we are able to compress by x63.6 the VGG16 ImageNet model with no loss of accuracy, thus being able to represent the entire network with merely 8.7MB.

연구 동기 및 목표

• 양자화와 압축을 분리한 기존 방법의 한계를 극복하고, 양자화와 엔트로피 코딩을 더 효과적으로 통합하여 후기 희소화 압축의 격차를 메운다.
• 기존 방법들이 양자화를 압축에서 분리하거나, 파rameter 상관관계를 忽略하거나, 최적화되지 않은 엔트로피 코딩을 사용하는 등의 한계를 해결한다.
• 비트스트림 표현의 부재를 최소화하면서도 정확도를 유지하기 위해 비율과 왜곡을 공동 최적화함으로써 모델 정확도를 보존한다.
• 세부 조정 없이도 다양한 네트워크 아키텍처에 대해 고압축률을 달성할 수 있도록 한다.
• CABAC의 효율성을 활용하고 신경망 가중치 분포에 맞게 적응형으로 조정함으로써 최신 기술 수준의 압축 성능을 달성한다.

제안 방법

• 의미 플래그, 부호 비트, 크기 백터, 고정 길이 잔여 코딩을 포함한 다단계 이진화 과정을 통해 양자화된 가중치를 이진화한다.
• 지역 가중치 통계 기반 실시간 확률 모델 업데이트를 적용한 맥락 적응형 이진 산술 코딩(CABAC)을 사용한다.
• CABAC로 추정한 비트스트림 크기를 기반으로 비율을 계산함으로써 가중치가 포함된 비율-왜곡 함수를 최소화함으로써 최적의 양자화 수준을 결정한다.
• 가중치 표준편차에서 유도된 등간격 양자화 점을 사용하여 고정소수점 추론을 가능하게 하고 복잡도를 감소시킨다.
• 예비 희소화된 네트워크에 대해 계층별로 압축을 적용하며, 편향 및 정규화 레이어는 제외한다.
• 압축률을 최대화하기 위해 {0, ..., 256} 범위에서 전수 검색을 통해 최적의 양자화 세분화 수준(S)을 선택한다.

실험 결과

연구 질문

• RQ1 기존 표준 방법과 비교해 맥락 적응형 엔트로피 코더인 CABAC이 희소화된 깊이 신경망의 압축에 상당한 향상을 이끌 수 있는가?
• RQ2 비율-왜곡 최적화를 통해 양자화와 엔트로피 코딩을 결합함으로써 모델 압축과 정확도에 어떤 영향을 미치는가?
• RQ3 DeepCABAC가 VGG16, ResNet50, MobileNet을 포함한 다양한 네트워크 아키텍처를 정확도 저하 없이 얼마나 압축할 수 있는가?
• RQ4 적응형 맥락 모델과 이진화 전략을 사용함으로써 스칼라 허프만 코딩이나 고정 모델 대비 비트스트림의 부재를 얼마나 줄일 수 있는가?
• RQ5 압축 후 세부 조정 없이도 DeepCABAC가 최신 기술 수준의 압축률을 달성할 수 있는가?

주요 결과

• DeepCABAC는 ImageNet 기반 VGG16 모델에서 정확도 손실 없이 63.6× 압축률을 달성하며, 크기를 8.7MB로 줄였다.
• 이전의 후기 희소화 방법 대비 여러 아키텍처에서 평균적으로 74% (±8%)의 압축 성능 향상을 보였다.
• ResNet50에서는 5.95× 압축률을 기록했으며, 상위 1위 정확도는 74.12%로 이전 성능을 초월했다.
• MobileNet-v1에서는 12.7× 압축률을 기록했으며, 정확도는 66.18%로 경량 모델에 대한 효과성을 입증했다.
• LeNet-300-100과 LeNet5에서는 각각 1.82× 및 0.72× 압축률을 기록했으며, 정확도 저하가 최소한이었다.
• 희소성 수준이 이전 연구보다 낮은 경우에도 높은 성능을 유지함으로써 희소성 변동에 대한 강건성을 입증했다.