[論文レビュー] System Demo for Transfer Learning across Vision and Text using Domain Specific CNN Accelerator for On-Device NLP Applications

Baohua Sun, Lin Yang+5 more|arXiv (Cornell University)|Jun 4, 2019

Advanced Neural Network Applications参考文献 13被引用数 5

ひとこと要約

本論文は、ドメイン固有のCNNアクセラレータ（CNN-DSA）を用いたデバイス内自然言語処理のシステムデモを提示する。この手法では、2次元的な語の埋め込みを介して視覚からテキストへの転移学習を可能にする。テキストを画像に似たスーパー文字またはスクエアドイングリッシュワード（Squard English Words）に変換することで、300mWのCNN-DSAチップ上で効率的で低精度の推論が実現され、英語のオントロジー分類で97.4%の精度、中国語のセンチメント分析で89.2%の精度を達成。フル精度モデルと比較して0.2%未満の精度低下にとどまる。

ABSTRACT

Power-efficient CNN Domain Specific Accelerator (CNN-DSA) chips are currently available for wide use in mobile devices. These chips are mainly used in computer vision applications. However, the recent work of Super Characters method for text classification and sentiment analysis tasks using two-dimensional CNN models has also achieved state-of-the-art results through the method of transfer learning from vision to text. In this paper, we implemented the text classification and sentiment analysis applications on mobile devices using CNN-DSA chips. Compact network representations using one-bit and three-bits precision for coefficients and five-bits for activations are used in the CNN-DSA chip with power consumption less than 300mW. For edge devices under memory and compute constraints, the network is further compressed by approximating the external Fully Connected (FC) layers within the CNN-DSA chip. At the workshop, we have two system demonstrations for NLP tasks. The first demo classifies the input English Wikipedia sentence into one of the 14 ontologies. The second demo classifies the Chinese online-shopping review into positive or negative.

研究の動機と目的

• モバイルおよび組み込みシステムにおける厳密な電力およびメモリ制約下で、効率的かつデバイス内でのNLP推論を可能にすること。
• 2次元的な語の埋め込みを用いて、視覚ベースのCNNモデルをテキスト分類タスクに転送する可能性を検討すること。
• 低精度の量子化とオンチップメモリ最適化により、NLPアプリケーションにおける電力消費と推論遅延を最小限に抑えること。
• ラズベリー・パイのようなモバイルプラットフォームで、ドメイン固有アクセラレータ（CNN-DSA）を用いてリアルタイムで高精度なテキスト分類を実証すること。
• 英語および中国語を含む多様な言語に対して、スーパー文字およびスクエアドイングリッシュワード（SEW）手法の性能を評価すること。

提案手法

• 文字が2次元グリッドにマッピングされ、ピクセル値が埋め込みベクトルに対応するように、スーパー文字法を用いてテキストを画像に似た表現に変換する。
• 英語テキストに対しては、各単語を正方形形状のグリフに変換するスクエアドイングリッシュワード（SEW）法を適用し、CNN認識を向上させるとともに、損失のない再構成のための1対1マッピングを保持する。
• 得られた2次元画像を、ImageNetで事前学習済みの重みを用いて転移学習により微調整された、VGG16に基づく2次元CNNモデルに供給する。
• ネットワーク係数には1ビットおよび3ビットの固定小数点精度を、活性化には5ビットを用いることで、モデルを200倍以上圧縮し、精度の低下を最小限に抑える。
• 全結合（FC）層は近似され、CNN-DSAチップ内に統合され、メモリフットプリントを削減し、推論を高速化する。
• すべての処理がオンチップの内部SRAM上で行われ、外部DRAMアクセスが不要となり、電力消費を300mW未満に抑える。

実験結果

リサーチクエスチョン

• RQ1 画像データで学習された2次元CNNが、転移学習を経て、テキスト分類タスクで高い精度を達成できるか？
• RQ2 スーパー文字法が、低消費電力ハードウェア向けのNLPタスクにおいて、テキストを2次元画像として効果的に表現できるか？
• RQ3 モデルの量子化と圧縮は、メモリおよび電力消費を削減しつつ、精度をどの程度維持できるか？
• RQ4 CNN-DSAチップが、20ms未満の遅延と300mW未満の電力で、NLPアプリケーションのリアルタイム推論を達成できるか？
• RQ5 英語テキストのNLPタスクにおいて、SEW法は標準的なスーパー文字法と比較して、どの程度優れているか？

主な発見

• 英語Wikipedia文の14オントロジーに分類するDBpediaデータセットにおいて、システムは97.4%のテスト精度を達成。フル精度VGGモデルと比較して0.2%の低下にとどまる。
• 中国語センチメント分類のJDバイナリデータセットにおいて、システムは89.2%のテスト精度を達成。正方形の漢字を持つアジア言語テキストに対しても有効であることを示した。
• 前処理およびオンチップ計算を含む総推論時間は21msで、1秒間に約50文の処理が可能で、リアルタイム要件を満たした。
• CNN-DSAチップの消費電力は300mW未満であり、オンチップメモリの使用と効率的なデータフローのおかげで、前処理および後処理の電力は無視できるほどであった。
• 1ビットおよび3ビットの量子化により、モデル圧縮が200倍以上（58.9MBから2.8MBに）達成され、精度の低下はわずかであった。
• 視覚ベースのCNNアクセラレータと画像分類からの転移学習を活用することで、モバイルデバイス上で効率的で低消費電力のNLP推論が実現された。