[論文レビュー] Learning Compressed Sentence Representations for On-Device Text Processing

Dinghan Shen, Pengyu Cheng+6 more|arXiv (Cornell University)|Jun 19, 2019

Topic Modeling参考文献 39被引用数 10

ひとこと要約

本稿では、オンデバイスNLP向けに事前学習済みの連続的文埋め込みをバイナリ化するための4つの戦略を提案する。連続的対応物とほぼ同等の性能（約2％の相対的低下）を達成しながら、メモリ使用量を98％以上削減する。最良の手法は、意味的保存損失を備えた正則化されたオートエンコーダーを用い、ハミング距離に基づく類似度検索を高速化し、コサイン類似度計算よりも12倍以上高速に達する。

ABSTRACT

Vector representations of sentences, trained on massive text corpora, are widely used as generic sentence embeddings across a variety of NLP problems. The learned representations are generally assumed to be continuous and real-valued, giving rise to a large memory footprint and slow retrieval speed, which hinders their applicability to low-resource (memory and computation) platforms, such as mobile devices. In this paper, we propose four different strategies to transform continuous and generic sentence embeddings into a binarized form, while preserving their rich semantic information. The introduced methods are evaluated across a wide range of downstream tasks, where the binarized sentence embeddings are demonstrated to degrade performance by only about 2% relative to their continuous counterparts, while reducing the storage requirement by over 98%. Moreover, with the learned binary representations, the semantic relatedness of two sentences can be evaluated by simply calculating their Hamming distance, which is more computational efficient compared with the inner product operation between continuous embeddings. Detailed analysis and case study further validate the effectiveness of proposed methods.

研究の動機と目的

• モバイル端末などの低リソースデバイスにおける連続的実数値文埋め込みの高いメモリおよび計算コストを低減すること。
• 汎用文埋め込みをコンactなバイナリ表現に変換することで、効率的なオンデバイステキスト処理を可能にすること。
• バイナリ化された埋め込みに意味的豊かさを保持させ、下流NLPタスクで有効に機能させること。
• ハミング距離によるバイナリコード間の類似度が、コサイン類似度の代替として効果的かつ計算効率が良いことを示すこと。
• 学習可能および非学習可能な手法を含む、複数のバイナリ化戦略を検討し、柔軟なデプロイメントを可能にすること。

提案手法

• ハードスレッディング、ランダムプロジェクション、PCAベース変換、および意味的保存損失を備えた学習可能な正則化オートエンコーダーを含む4つのバイナリ化戦略を提案する。
• 再構成損失に加え、意味的構造をバイナリコードに保持するための追加の意味的保存損失項を備えたオートエンコーダー構造を用いる。
• 意味的保存損失は、類似した文が類似したバイナリコードを持つようにすることで、ポジティブペア間のハミング距離を最小化する。
• バイナリ化に決定的スレッディング戦略を採用し、実験的評価で確率的サンプリングを上回る性能を達成する。
• 類似度評価にハミング距離を用いることで、連続ベクトルにおける内積演算よりも計算が効率的になる。
• 複数の下流NLPタスク（文類似度マッチングおよび分類）をベンチマークするため、SentEvalツールキットを用いる。

実験結果

リサーチクエスチョン

• RQ1 下流NLPタスクにおける意味的有用性を保持しつつ、連続的文埋め込みを効果的にバイナリ化できるか？
• RQ2 多様なNLPベンチマークにおいて、バイナリ埋め込みの性能は連続的埋め込みと比べてどうなるか？
• RQ3 バイナリコード間のハミング距離は、意味的類似度計算の代替として効果的かつ高速に動作するか？
• RQ4 特に学習可能と非学習可能な手法の違いが、埋め込み品質およびメモリ効率に与える影響は何か？
• RQ5 埋め込み次元の選択に、学習されたバイナリ表現はどれほど敏感か？

主な発見

• 意味的保存損失を備えた正則化オートエンコーダーは、複数の下流NLPタスクにおいて連続的埋め込みと比較してわずか~2％の相対的性能低下に抑えられる。
• バイナリ表現は、元の連続的埋め込みの1.5％にまでメモリフットプリントを削減し、98％以上のストレージ削減を達成する。
• バイナリコード間のハミング距離計算は、連続ベクトルのコサイン類似度計算よりも12倍以上高速であり、測定されたスピードアップは12.7倍（3.67μs vs. 288ns）。
• 最も優れた性能を示したモデル、AE-binary-SPは、MRデータセットで意味的保存損失重みλsp = 0.8の設定で最適な性能を発揮する。
• ランダムプロジェクションおよびPCAベースバイナリ化は、512ビットのみでも競争力のある性能を達成し、低メモリ環境に適している。
• バイナリコードを用いた最近傍検索は、意味的に類似した文を効果的に検索でき、連続的埋め込みの結果よりもしばしばより一貫性がある。