[論文レビュー] All-but-the-Top: Simple and Effective Postprocessing for Word Representations

Jiaqi Mu, Suma Bhat+1 more|arXiv (Cornell University)|Feb 5, 2017

Topic Modeling被引用数 127

ひとこと要約

非零平均とトップのPCA方向を取り除く簡易後処理技術により、語彙ベクトル表現をより等方性にし、内在的および外在的なNLPタスクで一貫した改善を達成する。

ABSTRACT

Real-valued word representations have transformed NLP applications; popular examples are word2vec and GloVe, recognized for their ability to capture linguistic regularities. In this paper, we demonstrate a {\em very simple}, and yet counter-intuitive, postprocessing technique -- eliminate the common mean vector and a few top dominating directions from the word vectors -- that renders off-the-shelf representations {\em even stronger}. The postprocessing is empirically validated on a variety of lexical-level intrinsic tasks (word similarity, concept categorization, word analogy) and sentence-level tasks (semantic textural similarity and { text classification}) on multiple datasets and with a variety of representation methods and hyperparameter choices in multiple languages; in each case, the processed representations are consistently better than the original ones.

研究の動機と目的

• 言語と手法を超えて、簡易な後処理ステップが既成の語彙表現を向上させうることを動機付け、実証する。
• 語彙ベクトルに共通する構造特性（非零平均と支配方向）を識別・定量化する。
• これらの成分を除去することで、より等方的な埋め込みと向上した言語的規則性を示す。

提案手法

• 全語彙表現の平均ベクトルを計算し、それを各語彙ベクトルから差し引く。
• 平均中心化したベクトルに対してPCAを実行し、トップDの支配方向を得る。
• 各語彙ベクトルをトップD PCA方向から離れる方向へ射影して後処理ベクトルを得る。
• 経験則としてD ≈ d/100（dはベクトル次元）を選び、言語と埋め込み手法を横断して検証する。

実験結果

リサーチクエスチョン

• RQ1 語彙埋め込みにおける共通の平均と支配方向が言語的規則性を劣化させ、除去によって一貫して性能を改善できるか。
• RQ2 後処理は intrinsic タスク（語義類似性、カテゴリ化、アナロジー）と extrinsic タスク（Semantic Textual Similarity、テキスト分類、文のモデリング）にどのように影響するか。
• RQ3 提案された等方性維持の後処理は、言語、埋め込み手法、下流アーキテクチャに対して頑健か。

主な発見

• 後処理は WORD2VEC と GloVe の7つの語義類似データセットで一貫した改善をもたらし、平均改善は約2.3%である。
• 概念分類は、後処理後の3データセットで平均約2.5–4.5%の利得を報告。
• 語彙アナロジーは改善を示すものの、特に意味論/統語的サブセットでキャンセル効果により小さくなる。
• 平均語彙ベクトルから得られる文表現を用いたSemantic Textual Similarity (STS) は、21データセットで平均約4%の改善を示した。
• ニューラルネットワークのテキスト分類（CNNおよびRNN系）では、多くの設定で利益があり、いくつかの構成で平均約2–3%の利得。
• 後処理は複数のデータセットとアーキテクチャにおいて、下流の感情分類タスクを大半のケースで強化する。