[논문 리뷰] Convolutional neural network compression for natural language processing

Krzysztof Wróbel, Marcin Pietroń외 3명|arXiv (Cornell University)|2018. 05. 28.

Speech Recognition and Synthesis참고 문헌 9인용 수 10

한 줄 요약

이 논문은 자연어 처리(NLP) 분야의 합성곱 신경망(CNNs)을 위한 하이브리드 압축 프레임워크를 제안하며, 정량화와 자르기 기법을 조합하여 자원이 제한된 임베디드 시스템에 배포하기 위해 모델 크기를 줄인다. 이 방법은 정확도가 1% 이내로 떨어지더라도 최대 93%의 메모리 절감을 달성하며, 5비트 정량화가 성능을 유지함을 입증하고 FPGA 구현을 통해 효율적인 하드웨어 매핑이 가능함을 보여준다. 이로 인해 플립플롭 사용량이 3.3배 감소하고, 논리단위(Logic Lookup Tables, LUT) 사용량이 4.2배 감소한다.

ABSTRACT

Convolutional neural networks are modern models that are very efficient in many classification tasks. They were originally created for image processing purposes. Then some trials were performed to use them in different domains like natural language processing. The artificial intelligence systems (like humanoid robots) are very often based on embedded systems with constraints on memory, power consumption etc. Therefore convolutional neural network because of its memory capacity should be reduced to be mapped to given hardware. In this paper, results are presented of compressing the efficient convolutional neural networks for sentiment analysis. The main steps are quantization and pruning processes. The method responsible for mapping compressed network to FPGA and results of this implementation are presented. The described simulations showed that 5-bit width is enough to have no drop in accuracy from floating point version of the network. Additionally, significant memory footprint reduction was achieved (from 85% up to 93%).

연구 동기 및 목표

• 자원이 제한된 메모리와 전력 소비를 고려한 임베디드 시스템에 대규모이고 메모리 소비가 높은 NLP용 CNN을 배포하는 데 도전하는 것.
• 압축된 NLP 모델을 배포하기 위해 현장 프로그래머블 게이트 어레이(FPGAs)를 사용하는 것의 실현 가능성과 효율성을 평가하는 것.
• 감성 분석 작업에서 정량화와 자르기의 모델 크기 및 정확도에 미치는 영향을 조사하는 것.
• 높은 정확도를 유지하면서 모델 프로파일을 최소화하는 최적의 정밀도 설정과 자르기 임계값을 규명하는 것.

제안 방법

• 저자는 훈련 후 정량화를 적용하여 가중치와 활성화 값을 동적 고정점 형식으로 변환함으로써, 실수형 값을 더 낮은 비트의 고정점 표현(예: 5비트, 8비트)으로 매핑한다.
• 정확도 저하가 0.2% 이내로 유지되도록 최적의 비트 폭 설정을 찾기 위해 무작위 재시작 하이클빙 알고리즘을 사용한다.
• 가중치가 특정 임계값 이하인 경우를 기준으로 자르기 기법을 적용하여, MAC 연산과 모델 크기를 줄인다.
• 정량화와 자르기의 병합된 파이프라인을 FPGA(Xilinx Virtex-7 VC707)에 구현하여 하드웨어 자원 활용도와 성능을 평가한다.
• 다양한 NLP 데이터셋을 대상으로 압축 효과를 평가하며, 정량화와 자르기에 대한 계층별 민감도를 분석한다.
• 일반적인 정량화 매핑 함수를 정의한다: $ q_{\text{fxp}} = \mu + \sigma \cdot \text{round}(\sigma^{-1} \cdot (x - \mu)) $, 이는 동적 고정점 표현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 정밀도가 원본 정밀도 모델과 거의 동일한 정확도를 유지할 수 있도록 하는 최소 비트 폭은 얼마인가?
• RQ2 정량화와 자르기의 조합이 NLP 작업에서 모델 크기와 추론 정확도에 어떤 영향을 미치는가?
• RQ3 정확도 손실가능성이 수용 가능한 수준에서 모델 크기를 최소화하는 데 최적의 비트 폭 설정과 자르기 임계값 조합은 무엇인가?
• RQ4 FPGA 기반 배포가 모델 성능을 유지하면서 하드웨어 자원 사용량을 얼마나 줄일 수 있는가?

주요 결과

• 5비트 정량화는 전체 정밀도 부동소수점 버전과 비교해 정확도가 1% 이내로 유지되며, 성능 저하가 없음을 확인하였다.
• 모델 크기는 다양한 데이터셋에서 84%에서 93%까지 감소하였으며, 단어 임베딩이 모델의 메모리 점유율의 93% 이상을 차지하였다.
• 정량화와 자르기의 병합으로 FPGA의 플립플롭 사용량이 3.3배 감소하고, LUT 사용량이 4.2배 감소하였으며, 정확도에 미치는 영향은 최소한이었다.
• 무작위 재시작 하이클빙 알고리즘이 성공적으로 최적의 비트 폭 설정을 도출하여, 정확도 저하가 0.2% 미만인 고압축을 달성하였다.
• 자르기 임계값이 0.03에서 0.035 사이일 경우 정확도가 급격히 떨어졌으며, 0.055 이상의 임계값은 빠른 성능 저하를 유도하였다.
• 연구 결과, 가중치와 활성화를 동시에 감소시키는 것이 개별적으로 압축 전략을 적용하는 것보다 더 뛰어난 성능을 보였으며, 특히 낮은 비트 폭에서 두드러졌다.