[논문 리뷰] System Demo for Transfer Learning across Vision and Text using Domain Specific CNN Accelerator for On-Device NLP Applications

Baohua Sun, Lin Yang외 5명|arXiv (Cornell University)|2019. 06. 04.

Advanced Neural Network Applications참고 문헌 13인용 수 5

한 줄 요약

이 논문은 영역 특화 컨볼루션 네트워크 가속기(CNN-DSA)를 사용하여 디바이스 내 자연어 처리를 위한 시스템 데모를 제시한다. 이는 두 차원적 단어 임베딩을 통해 비전에서 텍스트로의 전이 학습을 가능하게 한다. 텍스트를 이미지 유사한 슈퍼 캐릭터 또는 스퀘어드 잉글리시 워드로 변환함으로써, 300mW의 CNN-DSA 칩에서 효율적이고 저정밀도 추론을 구현하며, 영문 온톨로지 분류에서 97.4%의 정확도와 중국어 감성 분석에서 89.2%의 정확도를 달성했으며, 전체 정밀도 모델과 비교해 0.2% 이내의 정확도 손실을 보였다.

ABSTRACT

Power-efficient CNN Domain Specific Accelerator (CNN-DSA) chips are currently available for wide use in mobile devices. These chips are mainly used in computer vision applications. However, the recent work of Super Characters method for text classification and sentiment analysis tasks using two-dimensional CNN models has also achieved state-of-the-art results through the method of transfer learning from vision to text. In this paper, we implemented the text classification and sentiment analysis applications on mobile devices using CNN-DSA chips. Compact network representations using one-bit and three-bits precision for coefficients and five-bits for activations are used in the CNN-DSA chip with power consumption less than 300mW. For edge devices under memory and compute constraints, the network is further compressed by approximating the external Fully Connected (FC) layers within the CNN-DSA chip. At the workshop, we have two system demonstrations for NLP tasks. The first demo classifies the input English Wikipedia sentence into one of the 14 ontologies. The second demo classifies the Chinese online-shopping review into positive or negative.

연구 동기 및 목표

• 모바일 및 임베디드 시스템에서 엄격한 전력 및 메모리 제약 조건 하에 효율적인 디바이스 내 NLP 추론을 가능하게 하기 위해.
• 두 차원적 단어 임베딩을 활용해 비전 기반의 CNN 모델을 텍스트 분류 작업으로 전이 학습할 수 있는지 탐색하기 위해.
• 저정밀도 양자화와 내장 메모리 최적화를 통해 NLP 응용의 전력 소비와 인fer런스 지연을 최소화하기 위해.
• 라즈베리 파이와 같은 모바일 플랫폼에서 도메인 특화 가속기(CNN-DSA)를 사용해 실시간 고정확도 텍스트 분류를 구현하기 위해.
• 영어 및 중국어를 포함한 다양한 언어에서 슈퍼 캐릭터 및 스퀘어드 잉글리시 워드 방법의 성능을 평가하기 위해.

제안 방법

• 문자들이 픽셀 값이 임베딩 벡터에 해당하는 2차원 격자에 매핑되는 방식으로, 슈퍼 캐릭터 방법을 사용해 텍스트를 이미지 유사 표현으로 변환한다.
• 영어 텍스트의 경우, 각 단어를 정사각형 모양의 기호로 변환해 CNN 인식을 향상시키는 스퀘어드 잉글리시 워드(SEW) 방법을 적용하며, 손실 없는 재구성에 적합한 일대일 매핑을 유지한다.
• 결과적으로 생성된 2D 이미지는 양자화된 VGG16 기반의 두 차원 CNN 모델에 입력되며, ImageNet 사전 학습된 가중치를 사용해 전이 학습을 통해 미세조정된다.
• 네트워크 계수는 1비트 및 3비트 고정점 정밀도로, 활성화는 5비트로 압축되어, 정확도 손실이 최소한이면서도 200배 이상의 모델 압축을 달성한다.
• 완전 연결(FC) 계층은 약간의 근사화를 거쳐 CNN-DSA 칩 내부에 통합되어 메모리 사용량을 줄이고 추론 속도를 향상시킨다.
• 모든 처리가 내부 SRAM에서 수행되어 외부 DRAM 액세스를 제거하고 전력 소비를 300mW 이하로 낮춘다.

실험 결과

연구 질문

• RQ1 이미지 데이터에서 학습된 두 차원 CNN이 전이 학습을 통해 텍스트 분류 작업에서 높은 정확도를 달성할 수 있는가?
• RQ2 슈퍼 캐릭터 방법이 저전력 하드웨어에서 NLP 작업을 위한 텍스트의 2D 이미지 표현으로서 얼마나 효과적인가?
• RQ3 모델 양자화 및 압축이 메모리 및 전력 소비를 줄이면서도 정확도를 유지하는 데 얼마나 효과적인가?
• RQ4 CNN-DSA 칩이 300mW 이하 전력 소비와 20ms 이내의 지연 시간으로 실시간 NLP 추론을 달성할 수 있는가?
• RQ5 영어 텍스트에서 표준 슈퍼 캐릭터 방법과 비교해 SEW 방법의 성능은 어떠한가?

주요 결과

• DBpedia 데이터셋에서 영문 위키백과 문장 분류 작업에 대해 14개 온톨로지로 분류하는 데 97.4%의 테스트 정확도를 기록했으며, 전체 정밀도 VGG 모델과 비교해 0.2%의 정확도 손실만을 보였다.
• 중국어 감성 분류 작업에서 JD 이진 데이터셋을 사용한 결과, 89.2%의 테스트 정확도를 달성했으며, 사각형 문자를 갖는 아시아어 텍스트 처리에 효과적임을 입증했다.
• 전처리 및 내장 처리 시간을 포함한 총 인fer런스 시간은 21ms였으며, 약 50문장/초의 처리 속도를 확보해 실시간 요구 조건을 충족시켰다.
• CNN-DSA 칩은 300mW 미만의 전력 소비를 기록했으며, 내장 메모리 사용과 효율적인 데이터 흐름 덕분에 전처리 및 후처리 전력 소모는 무시할 만큼 작았다.
• 1비트 및 3비트 양자화를 통해 모델 크기를 58.9MB에서 2.8MB로 200배 이상 압축했으며, 정확도 저하가 미미했다.
• 비전 기반의 CNN 가속기와 이미지 분류에서의 전이 학습을 활용해, 이는 모바일 기기에서 효율적이고 저전력의 NLP 추론을 실현했다.