[논문 리뷰] Adaptive Pruning of Neural Language Models for Mobile Devices

Raphael Tang, Jimmy Lin|arXiv (Cornell University)|2018. 09. 27.

Advanced Neural Network Applications참고 문헌 19인용 수 4

한 줄 요약

이 논문은 이동형 언어 모델링을 위한 적응형 프루닝을 제안하며, 추론 시기 프루닝 기법을 통해 런타임에서 정확도-효율성 트레이드오프를 조정할 수 있도록 한다. $L_0$ 정규화 프루닝이 가장 우수한 퍼플렉서티-정확도 균형을 달성하며, 라즈베리 파이에서 최신 기술 대비 에너지 소비를 40% 감소시키면서 퍼플렉서티 상대 증가율이 17%에 불과함을 입증한다.

ABSTRACT

Neural language models (NLMs) exist in an accuracy-efficiency tradeoff space where better perplexity typically comes at the cost of greater computation complexity. In a software keyboard application on mobile devices, this translates into higher power consumption and shorter battery life. This paper represents the first attempt, to our knowledge, in exploring accuracy-efficiency tradeoffs for NLMs. Building on quasi-recurrent neural networks (QRNNs), we apply pruning techniques to provide a "knob" to select different operating points. In addition, we propose a simple technique to recover some perplexity using a negligible amount of memory. Our empirical evaluations consider both perplexity as well as energy consumption on a Raspberry Pi, where we demonstrate which methods provide the best perplexity-power consumption operating point. At one operating point, one of the techniques is able to provide energy savings of 40% over the state of the art with only a 17% relative increase in perplexity.

연구 동기 및 목표

• 이동 장치에서 신경망 언어 모델(NLMs)의 정확도-효율성 트레이드오프 공간을 탐색하기 위해, 높은 정확도는 일반적으로 전력 소비를 증가시킨다는 점을 고려한다.
• 각 추론 요청에 맞게 조절 가능한 프루닝 기법을 사용하여 런타임에서 모델의 효율성과 정확도를 적응적으로 제어할 수 있도록 한다.
• 이론적 FLOP 추정에 의존하지 않고 실제 이동형 하드웨어(Raspberry Pi)에서 에너지 소비와 지연 시간을 평가한다.
• 단일 랭크 가중치 업데이트를 통해 최소한의 추가 메모리로 퍼플렉서티 손실을 복구할 수 있는 경량 방법을 제안한다.
• 퍼플렉서티와 에너지 효율성 측면에서 여러 프루닝 전략(예: 무작위, 필터 노름, 평균 활성화, $L_0$)을 비교 평가한다.

제안 방법

• 사전 학습된 QRNN에 추론 시기 프루닝을 적용하여, 배포 중 모델 복잡도를 동적으로 조정할 수 있도록 한다.
• 네 가지 프루닝 전략을 사용한다: 무작위 필터 프루닝, 필터 노름 프루닝, 평균 활성화 프루닝, $L_0$ 정규화.
• 단일 랭크 가중치 업데이트 기법을 사용하여 손실된 성능을 최소한의 메모리 오버헤드( WT103 모델 기준 120 KB 미만)로 복구한다.
• 라즈베리 파이에서 에너지 소비와 지연 시간을 측정하여 실제 효율성을 평가하며, FLOPs와 전력 소비 및 지연 시간 간의 상관관계를 분석한다.
• QRNN의 입력층과 출력층 가중치를 연결하여 파rameter 수와 메모리 프로파일을 줄여 효율성을 향상시킨다.
• 무작위 프루닝 비율을 조절하여 다양한 운영 포인트(예: 100%, 80%, 70%, 60%, 50%)에서 프루닝 성능을 평가한다.

실험 결과

연구 질문

• RQ1 추론 시기 프루닝이 이동 장치에서 신경망 언어 모델의 정확도-효율성 노브를 조절 가능하게 하는가?
• RQ2 무작위, 필터 노름, 평균 활성화, 또는 $L_0$ 정규화 중 어떤 프루닝 전략이 퍼플렉서티와 에너지 효율성 사이의 최적 트레이드오프를 달성하는가?
• RQ3 단일 랭크 가중치 업데이트 기법으로 프루닝으로 인한 성능 손실을 얼마나 효과적으로 복구할 수 있으며, 메모리 비용은 얼마나 되는가?
• RQ4 이동형 하드웨어에서 FLOPs, 지연 시간, 에너지 소비 간에 강한 선형 관계가 존재하는가?
• RQ5 라즈베리 파이에서의 실제 에너지 소비 및 지연 시간 측정치는 이동형 배포에서 NLM의 효율성을 정확히 반영하는가?

주요 결과

• $L_0$ 정규화 프루닝 방법이 퍼플렉서티-정확도 균형에서 가장 우수한 성능을 보이며, 펜 트리뱅크 및 위키텍스트-103 데이터셋 모두에서 무작위, 필터 노름, 평균 활성화 프루닝을 모두 능가한다.
• 무작위 프루닝이 놀랍게도 잘 작동하며, 필터 노름 및 평균 활성화 프루닝보다 우수하고, 단일 랭크 업데이트를 통해 더 효과적으로 퍼플렉서티를 회복한다.
• 모든 평가 케이스에서 필터 노름 프루닝이 무작위 프루닝보다 열 劣하므로, 무작위 프루닝보다 실질적인 이점이 없다는 것을 시사한다.
• FLOPs와 지연 시간, 에너지 소비 사이에 강한 선형 관계가 존재하며, 라즈베리 파이에서 피어슨의 $r^2 = 0.98$를 기록한다.
• 단일 랭크 업데이트 기법은 120 KB 미만의 추가 메모리로 성능을 복구할 수 있어, 이동형 배포에 실현 가능하다.
• 일부 운영 포인트에서, 이 방법은 최신 기술 대비 40%의 에너지 절감을 달성하면서 퍼플렉서티 상대 증가율은 17%에 불과하다.