[論文レビュー] How Large a Vocabulary Does Text Classification Need? A Variational Approach to Vocabulary Selection

Wenhu Chen, Yu Su+4 more|arXiv (Cornell University)|Feb 27, 2019

Topic Modeling参考文献 34被引用数 4

ひとこと要約

本稿では、ベイズ推論を用いて単語ごとのドロップアウト確率を学習することで、タスクに適応した最小限かつ効果的な語彙を選択する、変分語彙ドロップアウト（VVD）を提案する。VVDは、新しい指標において頻度ベースの手法や他のベースラインを上回り、精度の低下を最小限に抑えつつ顕著な圧縮を達成する。

ABSTRACT

With the rapid development in deep learning, deep neural networks have been widely adopted in many real-life natural language applications. Under deep neural networks, a pre-defined vocabulary is required to vectorize text inputs. The canonical approach to select pre-defined vocabulary is based on the word frequency, where a threshold is selected to cut off the long tail distribution. However, we observed that such simple approach could easily lead to under-sized vocabulary or over-sized vocabulary issues. Therefore, we are interested in understanding how the end-task classification accuracy is related to the vocabulary size and what is the minimum required vocabulary size to achieve a specific performance. In this paper, we provide a more sophisticated variational vocabulary dropout (VVD) based on variational dropout to perform vocabulary selection, which can intelligently select the subset of the vocabulary to achieve the required performance. To evaluate different algorithms on the newly proposed vocabulary selection problem, we propose two new metrics: Area Under Accuracy-Vocab Curve and Vocab Size under X\% Accuracy Drop. Through extensive experiments on various NLP classification tasks, our variational framework is shown to significantly outperform the frequency-based and other selection baselines on these metrics.

研究の動機と目的

• テキスト分類における語彙選択に関する体系的かつ包括的な研究の不足に取り組むこと、特にモデル性能および効率性に与える影響を明らかにすること。
• タスクに依存しない頻度ベースの語彙削除法の限界を特定すること。これはしばしば最適でない。
• 分類タスクに最も関連する語のみを動的に同定・保持する、タスクに適応した語彙選択手法を開発すること。
• さまざまな性能とサイズのトレードオフを体系的に比較できる新しい評価指標を提案すること。
• 計算コストを低減するため、適応的サンプリングと二段階のプルーニングを導入することで、語彙選択の効率的な訓練と評価を可能にすること。

提案手法

• 語彙選択をベイズ推論問題として定式化し、語彙 $\mathbb{V}$ 内の各単語 $w$ に対してドロップアウト確率 $p_w$ を学習する。
• 変分ドロップアウトを用いて、単語ごとのドロップアウト率を持つニューラルネットワークを訓練する。ここで、$p_w$ が低いほどその単語のタスクに対する重要性が高くなる。
• 推論時、しきい値未満の $p_w$ を持つ単語のみを保持し、残りはゼロベクトル $[0,\dots,0]$ として扱うことで、部分語彙 $\hat{\mathbb{V}}$ を選択する。
• 二段階の訓練戦略を適用する：まず頻度カットオフによりレアな単語をプルーニングし、その後、縮小された語彙上でVVDを適用することで収束を加速する。
• 語彙サイズを指数関数的にサンプリングする（例：1, 2, 4, 8, 24, 56, ..., 60K）ことで、$O(\log|\mathbb{V}|)$ 回の評価で精度-語彙曲線を正確に推定できる。
• 事前学習済み埋め込み（例：Word2Vec, GloVe）を初期化に用いるが、VVD訓練中に埋め込み行列全体を微調整する。

実験結果

リサーチクエスチョン

• RQ1 語彙サイズが最終タスクの分類精度に与える影響は何か？また、特定の性能を達成するための最小語彙サイズは何か？
• RQ2 頻度ベースやTF-IDFベースのベースラインと比較して、タスクに適応した語彙選択は、精度と圧縮比の両面でどのように優れているか？
• RQ3 事前タスク固有の知識なしに、変分ベイズフレームワークが単語レベルの重要性を効果的に学習し、語彙プルーニングをガイドできるか？
• RQ4 このような語彙選択手法の訓練・評価における計算的トレードオフは何か？そして、それらはどのように緩和できるか？
• RQ5 提案手法は、さまざまなNLPタスク（例：ドキュメント分類、NLI、対話NLU）およびニューラルアーキテクチャ（例：CNN、BiLSTM）に一般化可能か？

主な発見

• VVDは、精度-語彙曲線下の面積およびX%の精度低下における語彙サイズという指標において、頻度ベース、TF-IDF、構造的ラassoベースラインを顕著に上回る。
• AG-newsデータセットでは、VVDは60K語の全語彙の97.6%の精度を達成しながら、語彙サイズをたった2.7%（1,600語）にまで圧縮した。頻度ベースのベースラインは4,000語を必要としていた。
• 提案された二段階訓練法により、VVDの訓練時間が著しく短縮され、変分ドロップアウトの確率的性質にもかかわらず、実用的なデプロイメントが可能になった。
• 語彙サイズの指数的サンプリングにより、$O(\log|\mathbb{V}|)$ 回の評価で精度-語彙曲線を正確に推定でき、評価時間は $O(|\mathbb{V}|)$ から実行可能なスケールにまで短縮された。
• VVDは頻度ベースの手法よりも高いスパarsityとより優れた圧縮を達成しながら、精度を維持または向上させている。これは、頻度ベースのプルーニングがモデル効率性の観点で非効率であることを示している。
• 本手法は、複数のテキスト分類タスク（例：ドキュメント分類、NLI、対話NLU）およびアーキテクチャ（CNN、BiLSTM）にわたり有効であり、広範な適用可能性を示している。