[論文レビュー] Word2Vec is a special case of Kernel Correspondence Analysis and Kernels for Natural Language Processing

Hirotaka Niitsuma, Minho Lee|arXiv (Cornell University)|May 17, 2016

Natural Language Processing Techniques被引用数 4

ひとこと要約

この論文は、Word2Vecをカーネル対応分析（KCA）の特殊ケースとして確立し、大規模な自然言語処理タスクにおけるCAを可能にする、メモリ効率が高く遅延型スパースランダムSVD（DSSVD）アルゴリズムを導入する。また、ノイズの多い共起をフィルタリングすることで、既存の単語ベクトル手法を凌駕する新しい「テイルカットカーネル」を提案し、決定論的な結果とハイパーパrameterへの感受性の低さを維持しながら、語の類似度ベンチマークで最先端の性能を達成する。

ABSTRACT

We show that correspondence analysis (CA) is equivalent to defining a Gini index with appropriately scaled one-hot encoding. Using this relation, we introduce a nonlinear kernel extension to CA. This extended CA gives a known analysis for natural language via specialized kernels that use an appropriate contingency table. We propose a semi-supervised CA, which is a special case of the kernel extension to CA. Because CA requires excessive memory if applied to numerous categories, CA has not been used for natural language processing. We address this problem by introducing delayed evaluation to randomized singular value decomposition. The memory-efficient CA is then applied to a word-vector representation task. We propose a tail-cut kernel, which is an extension to the skip-gram within the kernel extension to CA. Our tail-cut kernel outperforms existing word-vector representation methods.

研究の動機と目的

• 数千のカテゴリを含む大規模な自然言語処理タスクに、対応分析（CA）を適用する際のメモリおよび計算上の非現実性に対処すること。
• Word2VecとCAの間の理論的リンクを確立し、Word2Vecがカーネル対応分析（KCA）の特殊ケースであることを示すこと。
• ニューラルネットワークベースの単語ベクトルモデル（例：Word2Vec）がランダム初期化とハイパーパrameterへの感受性を抱えるのに対し、決定論的でメモリ効率の良い代替手法を開発すること。
• 共起ウィンドウ内の不自然な共起をフィルタリングすることで、単語ベクトルの質を向上させる新しい「テイルカットカーネル」を提案すること。
• カーネル化されたCAが、標準的な類似度ベンチマークで最先端の単語表現手法を上回ることを実証すること。

提案手法

• 密行列の展開を回避する遅延型スパースランダムSVD（DSSVD）アルゴリズムを提案し、大規模なクロス集計表におけるメモリ使用量と計算時間を著しく削減する。
• CAをクロス集計表におけるPCAとして再定式化し、一括符号号化されたカテゴリカルデータにおけるGini指数に基づく分散測度と同等であることを示す。
• 共起統計から導出された特別なカーネルを用いたCAの非線形拡張（KCA）を導入し、非線形特徴抽出を可能にする。
• 共起度数にしきい値ルールを適用することで「テイルカットカーネル」を構築し、統計的に有意な語のペアのみを保持してノイズを低減する。
• テイルカットカーネルを用いたKCAを単語共起行列に適用し、ランダム初期化なしに決定論的かつ高品質な単語ベクトルを生成する。
• SVDに基づくLCAとKCAを、異なる共起行列（N^skip（スキップグラムに類似）、N^flat（フラットウィンドウ）、N^cut（テイルカットカーネル））に適用し、性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 対応分析（CA）は、数万の語カテゴリを含む大規模な自然言語処理タスクにスケーラブルに適用可能か？
• RQ2 Word2Vecは数学的に特定のKCAのインスタンスと同等か？
• RQ3 CAのカーネル化拡張は、Word2Vec や GloVe などのニューラルネットワークベースの単語ベクトルモデルを上回る性能を発揮できるか？
• RQ4 提案されたテイルカットカーネルは、ウィンドウサイズに依存する感度を低減し、語の類似度タスクでの性能を向上させるか？
• RQ5 半教師ありCA（SCA）は、教師ありデータ（MENおよびM.Turk）をKCAフレームワーク内で活用することで、教師なし設定下での単語ベクトルの質をさらに向上させられるか？

主な発見

• DSSVDアルゴリズムは、標準SVDの10％、ランダム化SVDの20％のメモリ使用量にまで削減し、標準SVDと比較して計算を100倍高速化した。
• テイルカットカーネルは、6つの語の類似度ベンチマーク（WordSim、MEN、SimLex-999など）において、SGNS、CBOW、GloVe、fastTextを上回る、最良またはほぼ最良の性能を達成した。
• フラットウィンドウ行列を用いたLCAはウィンドウサイズに極めて感受性が高かったが、テイルカットカーネルはウィンドウサイズ30を超えて安定した性能を示し、ハイパーパrameterへの依存が低減していることが示された。
• 教師ありデータ（MENおよびM.Turk）をKCAフレームワーク内で使用するSCAは、ほとんどのベンチマークで教師なしLCAを上回った。これは、KCAにおける半教師あり学習の価値を示している。
• CAの決定論的性質により、ランダム初期化による変動がないため、実行ごとに一貫した結果が得られる。これに対してWord2Vecはランダム初期化のため、異なる実行で異なるベクトルを生成する。
• Word2VecとCAの理論的リンクが検証された：Word2Vecは特定のカーネルと線形変換を用いたKCAの特殊ケースであることが示された。