[논문 리뷰] Lightweight Convolutional Representations for On-Device Natural Language Processing

Shrey Desai, Geoffrey Goh외 2명|arXiv (Cornell University)|2020. 02. 04.

Topic Modeling참고 문헌 28인용 수 7

한 줄 요약

이 논문은 스마트폰과 웨어러블 기기와 같은 저자원 환경에서 사용 가능한 경량형, 즉장형 컨볼루션 표현 방식을 제안한다. 이는 순환 단위를 효율적인 디pth와이즈 분리 컨볼루션과 GELU 비선형성으로 대체함으로써, 정확도 저하를 최소화하면서도 최대 32배의 모델 압축을 달성하고, 삼성 갤럭시 S9 기기에서 지연 시간과 파일 크기 측면에서 뚜렷한 향상을 이룬다.

ABSTRACT

The increasing computational and memory complexities of deep neural networks have made it difficult to deploy them on low-resource electronic devices (e.g., mobile phones, tablets, wearables). Practitioners have developed numerous model compression methods to address these concerns, but few have condensed input representations themselves. In this work, we propose a fast, accurate, and lightweight convolutional representation that can be swapped into any neural model and compressed significantly (up to 32x) with a negligible reduction in performance. In addition, we show gains over recurrent representations when considering resource-centric metrics (e.g., model file size, latency, memory usage) on a Samsung Galaxy S9.

연구 동기 및 목표

• 모바일 기기나 웨어러블 기기와 같은 저자원 환경에서 계산 비용이 큰 NLP 모델을 구현하는 데 도전하는 데 기여한다.
• 성능을 희생시키지 않고도 모델 크기, 추론 지연 시간, 메모리 사용량을 줄인다.
• 어떤 신경망 인코더에나 적용 가능한 일반적인, 아키텍처에 종속되지 않는 표현 방식을 개발한다.
• 실제 하드웨어(삼성 갤럭시 S9)에서 자원 중심 지표를 사용해 순환 모델보다 뛰어난 효율성을 입증한다.
• 효율적이고 조합 가능하며 하드웨어 최적화된 구성 요소를 통해 엣지 기기에서의 NLP 모델 실용적 구현을 가능하게 한다.

제안 방법

• FLOPs와 파라미터 수를 줄이기 위해 디프스와이즈 분리 컨볼루션을 사용하는 잔차 블록 기반의 컨볼루션 표현 방식을 설계한다.
• 채널 용량을 줄이고 속도-정확도 트레이드오프를 향상시키기 위해 게이트드 선형 유닛(Gated Linear Units, GLUs)을 GELU 활성화 함수로 대체한다.
• 그룹 컨볼루션을 통해 채널별 블로킹을 적용하여 모델을 추가로 압축하면서도 표현 능력을 유지한다.
• 분리형 컨볼루션을 사용해 공간적 특징 학습과 채널별 특징 학습을 분리함으로써 계산 비용을 O(c²kt)에서 O(c²t + ckt)로 감소시킨다.
• 기존 모델에 플러그인 인코더로 통합하여 단어, 문자, 바이트 수준의 입력 모두와 호환 가능하도록 한다.
• 제안된 아키텍처와 함께 표준 압축 기법(자르기, 양자화, 행렬 분해)을 적용하여 추가 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 정확도 저하 없이 이동 기기에서 모델 크기와 추론 지연 시간을 크게 줄일 수 있는 경량 컨볼루션 표현 방식을 설계할 수 있는가?
• RQ2 실제 모바일 하드웨어에서 제안된 표현 방식이 순환 모델 대비 자원 효율성(파일 크기, 지연 시간, 메모리 사용량) 측면에서 어떻게 비교되는가?
• RQ3 딥스와이즈 분리 컨볼루션과 효율적인 비선형성과 같은 아키텍처 혁신이 계산 비용을 얼마나 줄일 수 있으며, 성능 유지 여부는 어떠한가?
• RQ4 제안된 표현 방식은 다양한 NLP 작업과 입력 모odal(단어, 문자, 바이트 수준)에 일반화 가능한가?
• RQ5 이 표현 방식은 기존의 모델 압축 기법과 효과적으로 조합되어 추가 최적화가 가능한가?

주요 결과

• 삼성 갤럭시 S9 기기에서 제안된 최적화된 컨볼루션 표현 방식은 순환 기반 기준 대비 모델 파일 크기를 80% 감소시켰다(0.4 MB 대비 2.8 MB)하고 지연 시간을 86% 감소시켰다(10.1 ms 대비 109.9 ms).
• 파라미터 수가 27배 감소했음에도 불구하고(92.5K 대비 2.5M), 문서 분류 작업에서 86.4%의 정확도를 달성했으며, 이는 순환 기반 기준 모델(85.7%)을 초월하고 순환 모델의 87.4% 정확도와도 동일한 성능을 보였다.
• 행렬 분해와 같은 추가 기법과 결합했을 때 최대 32배의 압축을 달성했으며, 순환 기반 기준 대비 정확도 저하가 단 1%에 불과했다.
• GLU 대신 GELU를 사용함으로써 모델 용량을 50% 줄였지만 성능 저하 없이 속도와 효율성이 향상되었다.
• 순환 기반 기준 대비 메모리 사용량이 59% 감소했다(8.9 MB 대비 6.5 MB)였지만, 절대값 기준으로는 여전히 순환 기반 모델보다 높은 메모리 사용량을 보였다.
• 실제 하드웨어에서의 성능을 기준으로 다음 단어 예측, 통합 의도-슬롯 모델링, 문서 분류의 세 가지 온디바이스 NLP 작업 전반에 걸쳐 일관된 성능 향상을 보였으며, 특히 자원 중심 지표에서 뛰어난 효율성을 입증했다.