[論文レビュー] Text classification with word embedding regularization and soft similarity measure

Vít Novotný, Eniafe Festus Ayetiran+2 more|arXiv (Cornell University)|Mar 10, 2020

Topic Modeling被引用数 7

ひとこと要約

本稿では、正規化された単語埋め込みを用いた直交化および量子化による語彙埋め込み正則化を提案し、テキスト分類の性能と効率性を向上させることを目的としている。実験の結果、正則化された埋め込みを用いたソフトコサイン法（SCM）は、Word Mover’s Distance（WMD）よりも精度と速度の両面で優れていることが示された。平均して39%のテスト誤差低減と10,000倍以上の高速化を達成しており、リソース制約のあるシステムへの実装が可能である。

ABSTRACT

Since the seminal work of Mikolov et al., word embeddings have become the preferred word representations for many natural language processing tasks. Document similarity measures extracted from word embeddings, such as the soft cosine measure (SCM) and the Word Mover's Distance (WMD), were reported to achieve state-of-the-art performance on semantic text similarity and text classification. Despite the strong performance of the WMD on text classification and semantic text similarity, its super-cubic average time complexity is impractical. The SCM has quadratic worst-case time complexity, but its performance on text classification has never been compared with the WMD. Recently, two word embedding regularization techniques were shown to reduce storage and memory costs, and to improve training speed, document processing speed, and task performance on word analogy, word similarity, and semantic text similarity. However, the effect of these techniques on text classification has not yet been studied. In our work, we investigate the individual and joint effect of the two word embedding regularization techniques on the document processing speed and the task performance of the SCM and the WMD on text classification. For evaluation, we use the $k$NN classifier and six standard datasets: BBCSPORT, TWITTER, OHSUMED, REUTERS-21578, AMAZON, and 20NEWS. We show 39% average $k$NN test error reduction with regularized word embeddings compared to non-regularized word embeddings. We describe a practical procedure for deriving such regularized embeddings through Cholesky factorization. We also show that the SCM with regularized word embeddings significantly outperforms the WMD on text classification and is over 10,000 times faster.

研究の動機と目的

• 文書レベルのタスク、特にテキスト分類における語彙埋め込み正則化の影響を評価すること。
• 正則化された語彙埋め込みを用いた場合のソフトコサイン法（SCM）とWord Mover’s Distance（WMD）の性能および効率性を比較すること。
• メモリ削減とトレーニング速度の向上をもたらす正則化技術が、分類精度の向上にも寄与するかどうかを調査すること。
• コレスキー分解と直交化を用いた実用的な正則化語彙埋め込みの導出手法を確立すること。
• WMDに代わるSCMを、モバイルおよび組み込みシステムに適した効率的で高性能なテキスト分類に可能にするために、正則化された埋め込みを用いること。

提案手法

• コレスキー分解を用いて語彙埋め込みに直交化を適用し、冗長性を低減するとともに、類似度行列のスパarsityを向上させること。
• 量子化を用いて埋め込み次元を低減し、メモリ使用量を削減しながら意味的整合性を維持すること。
• 正則化された類似度行列を修正することで、関係のない語の間の類似度を負の値に寄せるように、SCMに正則化を統合すること。
• グリッドサーチを用いて6つのベンチマークデータセットでSCMのハイパーパrameter（例：$C$, $o$, $t$, $k$, IDF, 対称性, 領域）を最適化すること。
• 正則化および非正則化された埋め込みを用いたSCMおよびWMDに基づく$k$-近傍法（k-NN）分類器を実装し、文書分類に適用すること。
• 事前学習済み語ベクトルからコレスキー分解を用いて直交化された埋め込みを導出し、数学的整合性と計算効率を確保すること。

実験結果

リサーチクエスチョン

• RQ1 語彙埋め込み正則化は、語レベルのタスクを超えてテキスト分類の性能向上をもたらすか？
• RQ2 正則化された埋め込みを用いたソフトコサイン法（SCM）は、テキスト分類タスクにおいてWMDに比べてどの程度優れているか？
• RQ3 直交化と量子化は、文書処理速度と分類精度にどのような影響を与えるか？
• RQ4 正則化された埋め込みにより、SCMがWMDの実用的代替手段としての速度と精度を満たすことができるか？
• RQ5 多様なテキスト分類データセットにおいて、正則化された埋め込みを用いたSCMの性能を最大化する最適なハイパーパrameter設定は何か？

主な発見

• 正則化された語彙埋め込みを用いたソフトコサイン法（SCM）は、非正則化された埋め込みに比べて、$k$-NNのテスト誤差が平均で39%低減された。
• 正則化された埋め込みを用いたSCMは、bbcsport, twitter, ohsumed, reuters-21578, amazon, 20newsの6つのベンチマークデータセットすべてにおいて、WMDを顕著に上回った。
• 正則化された埋め込みを用いたSCMは、WMDよりも10,000倍以上高速であり、20newsデータセットでは時間計算量の低減により13,685倍の高速化を達成した。
• 量子化された埋め込みは、関係のない語の間のコサイン類似度における正のバイアスを低減し、文書の分離性を向上させ、$k$-NNのテスト誤差を低減した。
• 直交化により、SCMの最悪計算量が二次的から一次的へと低下したが、スパース行列演算のため、密行列SCMに比べて2.73倍の遅延が生じた。
• 直交化された埋め込みを用いたSCMの最適パラメータ設定は、$C=100$, $o=4$, $t=-1$, $k=1$ が大多数のデータセットで最適であり、IDFおよび対称性の設定が性能に大きく寄与した。