[論文レビュー] Simple and Effective Dimensionality Reduction for Word Embeddings

Vikas Raunak|arXiv (Cornell University)|Aug 11, 2017

Topic Modeling参考文献 9被引用数 15

ひとこと要約

本稿では、次元削減のためのPCAに基づく手法と後処理（PPA）を組み合わせる単純ながら効果的な手法を提案する。PPAをPCAの前に行うことにより、埋め込みサイズを50%削減しながら、12の語の類似度ベンチマークで元の高次元埋め込みと同等またはそれ以上の性能を達成する。

ABSTRACT

Word embeddings have become the basic building blocks for several natural language processing and information retrieval tasks. Pre-trained word embeddings are used in several downstream applications as well as for constructing representations for sentences, paragraphs and documents. Recently, there has been an emphasis on further improving the pre-trained word vectors through post-processing algorithms. One such area of improvement is the dimensionality reduction of the word embeddings. Reducing the size of word embeddings through dimensionality reduction can improve their utility in memory constrained devices, benefiting several real-world applications. In this work, we present a novel algorithm that effectively combines PCA based dimensionality reduction with a recently proposed post-processing algorithm, to construct word embeddings of lower dimensions. Empirical evaluations on 12 standard word similarity benchmarks show that our algorithm reduces the embedding dimensionality by 50%, while achieving similar or (more often) better performance than the higher dimension embeddings.

研究の動機と目的

• 特にメモリ制約のあるデバイスにおける事前学習済み単語埋め込みの高いメモリ使用量に対処すること。
• 次元削減の前段階で後処理を施すことにより、単語埋め込みの品質と識別力の向上を図ること。
• 元の次元の半分にまで次元を削減しながら、意味的性能を維持または向上させる次元削減技術の開発。
• 下流タスクにおいて、低次元埋め込みが高次元埋め込みと同等またはそれ以上の性能を示すことを実証すること。

提案手法

• [9]で提示された後処理アルゴリズム（PPA）を用い、事前学習済み単語埋め込みから主成分（D=7）と平均成分を除去する。
• 後処理済み埋め込みに対してPCAを実行し、次元をN = d/2に削減する。ここでdは元の次元である。
• 標準的なPCAアルゴリズムを用いて、単語ベクトルを後処理済みデータの最初のN個の主成分に射影する。
• 主成分分析のパイプラインの初期段階で、支配的で特徴のない方向を早期に除去できるよう、後処理ステップをPCAの前に行う。
• 一貫性と計算効率を確保するため、scikit-learnのPCA実装を用いる。
• 複数の事前学習済み埋め込み（GloVe、fastText）と次元レベル（300D、200D、100D）に対して、本手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 後処理とPCAに基づく次元削減を組み合わせることで、性能を維持または向上させつつ低次元化された単語埋め込みを実現できるか？
• RQ2 後処理をPCAの前に行うことで、後処理を後に行うか、全く行わない場合と比較して、より優れた性能が得られるか？
• RQ3 標準的な語の類似度ベンチマークにおいて、150次元埋め込みの性能は300次元埋め込みと比べてどうか？
• RQ4 元の次元の半分にまで次元を削減することで、単語埋め込みの意味的品質を維持または向上できるか？
• RQ5 提案手法は、異なる事前学習済み埋め込みタイプ（例：GloVe、fastText）および初期次元に対して一般化可能か？

主な発見

• 提案手法（Algo-N）は、語の類似度ベンチマークの12件中7件において、元の300D埋め込みと同等またはそれ以上の性能を達成しながら、単語埋め込みの次元を50%削減する。
• 12のデータセット全体で、Algo-150Dは元の300D埋め込みを7つのタスクで上回り、全データセット平均で2.74%の改善を達成した。
• 100Dおよび200DのGloVe埋め込みにおいて、それぞれ平均2.6%および3%の性能向上を達成した。特に、Algo-100Dは元の100D GloVe埋め込みを平均6%上回った。
• 本手法は、PCA、PCA+P、P+PCAといったベースライン手法を常に上回り、次元削減過程での意味的品質の維持に特に優れている。
• 後処理済み埋め込みでは、上位20個の主成分が説明する分散がよりバランスが取れており、支配的で特徴のない方向の影響が軽減されていることが示された。
• 本手法は異なる埋め込みタイプおよび初期次元に対して頑健であり、200Dから100Dにまで次元を削減しても一貫した向上が得られた。