[論文レビュー] Lightweight Convolutional Representations for On-Device Natural Language Processing

Shrey Desai, Geoffrey Goh+2 more|arXiv (Cornell University)|Feb 4, 2020

Topic Modeling参考文献 28被引用数 7

ひとこと要約

この論文は、再帰的ユニットを効率的なディープワイズ分離畳み込みとGELU非線形性に置き換えることで、モバイル端末向けに軽量で即座に統合可能な畳み込み表現を提案する。サムスンギャラクシーS9で、精度の低下を最小限に抑えつつ最大32倍のモデル圧縮が達成され、遅延とファイルサイズが著しく改善された。

ABSTRACT

The increasing computational and memory complexities of deep neural networks have made it difficult to deploy them on low-resource electronic devices (e.g., mobile phones, tablets, wearables). Practitioners have developed numerous model compression methods to address these concerns, but few have condensed input representations themselves. In this work, we propose a fast, accurate, and lightweight convolutional representation that can be swapped into any neural model and compressed significantly (up to 32x) with a negligible reduction in performance. In addition, we show gains over recurrent representations when considering resource-centric metrics (e.g., model file size, latency, memory usage) on a Samsung Galaxy S9.

研究の動機と目的

• モバイル端末やウェアラブルデバイスなどの低リソース環境に計算量の多いNLPモデルをデプロイする課題に対処すること。
• パフォーマンスを損なわず、モデルサイズ、推論遅延、メモリ使用量を削減すること。
• 任意のニューラルエンコーダーに、単語レベル、文字レベル、バイトレベルの入力で統合可能な汎用的でアーキテクチャに依存しない表現を開発すること。
• 実機（サムスンギャラクシーS9）上でリソース中心の指標を用いて、再帰的モデルよりも優れた効率性を示すこと。
• 効率的で組み合わせ可能でハードウェアに最適化されたコンponentsを通じて、エッジデバイスへのNLPモデルの実用的デプロイを可能にすること。

提案手法

• FLOPsとパラメータ数を削減するため、ディープワイズ分離畳み込みを用いた残差ブロックベースの畳み込み表現を設計する。
• チャネル容量を削減し、スピードと精度のトレードオフを改善するために、ゲート付き線形ユニット（GLUs）をGELU活性化関数に置き換える。
• グループ化畳み込みを用いてチャネルごとのボトルネックを適用し、表現能力を維持したままモデルをさらに圧縮する。
• 空間的およびチャネルワイドな特徴学習を分離することで、計算コストをO(c²kt)からO(c²t + ckt)に削減するため、分離畳み込みを適用する。
• 既存のモデルにプラグインエンコーダーとして統合可能であり、単語レベル、文字レベル、バイトレベルの入力を対応可能にする。
• 提案されたアーキテクチャと併せて、標準的な圧縮技術（プルーニング、量子化、行列分解）を適用し、さらなる最適化を図る。

実験結果

リサーチクエスチョン

• RQ1 計算量の多いNLPモデルをモバイルデバイスで大幅にモデルサイズと推論遅延を削減しながら精度を劣化させずに実現できる軽量な畳み込み表現を設計できるか？
• RQ2 実機のモバイルハードウェア上で、リソース効率（ファイルサイズ、遅延、メモリ）の観点から、提案された表現は再帰的モデルよりも優れているか？
• RQ3 ディープワイズ分離畳み込みや効率的な非線形性といったアーキテクチャ的イノベーションが、パフォーマンスを維持したまま計算コストをどの程度削減できるか？
• RQ4 提案された表現は、異なるNLPタスクや入力モダリティ（単語、文字、バイトレベル）に一般化可能か？
• RQ5 既存のモデル圧縮技術と効果的に組み合わせることで、さらなる最適化が可能か？

主な発見

• 最適化された畳み込み表現は、サムスンギャラクシーS9上で、再帰的ベースラインと比較してモデルファイルサイズを80％（0.4 MB 対 2.8 MB）削減し、遅延を86％（10.1 ms 対 109.9 ms）削減した。
• パラメータ数を27倍削減（92.5K 対 2.5M）したにもかかわらず、ドキュメント分類タスクで86.4％の精度を達成し、ベースライン畳み込みモデル（85.7％）を上回り、再帰的モデル（87.4％）と同等の精度を達成した。
• 行列分解などの追加技術と組み合わせることで、最大32倍の圧縮が可能となり、再帰的ベースラインと比較して精度低下はわずか1％にとどまった。
• GLUからGELUへの置き換えにより、モデル容量を50％削減したが、パフォーマンスに損なわれることなく、スピードと効率性が向上した。
• 再帰的ベースラインと比較して、メモリ使用量が59％削減（8.9 MB 対 6.5 MB）されたが、絶対値としては依然として再帰的モデルより高かった。
• 次単語予測、統合的意図-スロットモデリング、ドキュメント分類の3つのエッジデバイス向けNLPタスクにおいて一貫した利点を示し、実機上での効率性指標が優れていた。