[論文レビュー] Second-Order Word Embeddings from Nearest Neighbor Topological Features

Denis Newman-Griffis, Eric Fosler‐Lussier|arXiv (Cornell University)|May 23, 2017

Topic Modeling参考文献 37被引用数 4

ひとこと要約

本稿では、事前学習済みの文脈的単語埋め込みの最近接近傍トポロジーから導出される2次元単語埋め込みを提案する。k-近傍グラフからの表現学習により、1次元埋め込みの大部分の性能向上効果を捉えることができ、命名エンティティ認識、テキスト帰納、並記語認識の各タスクでほぼ同等の結果を達成する一方で、データの非同一性に対してより高い耐性を示す。

ABSTRACT

We introduce second-order vector representations of words, induced from nearest neighborhood topological features in pre-trained contextual word embeddings. We then analyze the effects of using second-order embeddings as input features in two deep natural language processing models, for named entity recognition and recognizing textual entailment, as well as a linear model for paraphrase recognition. Surprisingly, we find that nearest neighbor information alone is sufficient to capture most of the performance benefits derived from using pre-trained word embeddings. Furthermore, second-order embeddings are able to handle highly heterogeneous data better than first-order representations, though at the cost of some specificity. Additionally, augmenting contextual embeddings with second-order information further improves model performance in some cases. Due to variance in the random initializations of word embeddings, utilizing nearest neighbor features from multiple first-order embedding samples can also contribute to downstream performance gains. Finally, we identify intriguing characteristics of second-order embedding spaces for further research, including much higher density and different semantic interpretations of cosine similarity.

研究の動機と目的

• 単語埋め込み空間におけるトポロジー的構造、特に最近接近傍関係が、意味的な単語表現の独立したソースとして機能しうるかを調査すること。
• 1次元文脈的埋め込みと比較して、2次元埋め込みの下流NLPタスクにおける性能を評価すること。
• 2次元表現がデータの非同一性をどのように処理するか、およびそれらが1次元埋め込みと連結された際に補完的であるかを分析すること。
• 特に密度とコサイン類似度の解釈という観点から、1次元および2次元埋め込み空間の構造的・意味的差異を調査すること。
• 複数の1次元埋め込みサンプルを最近接近傍トポロジーを介して活用することで、ランダム初期化に起因する分散を低減し、耐性を向上させられるかを評価すること。

提案手法

• コサイン類似度を距離尺度として用い、事前学習済みの文脈的単語埋め込みからk-近傍グラフを構築する。
• 非教師付きグラフ埋め込み手法を適用し、k-NNグラフのトポロジカル構造に基づいて再学習された表現を生成することで、2次元埋め込みを得る。
• 得られた2次元埋め込みを、命名エンティティ認識、テキスト帰納、並記語認識の各タスクにおける深層および線形モデルの入力特徴として用いる。
• 1次元文脈的埋め込みに2次元表現を連結することで拡張し、線形および非線形モデルの両方で性能を評価する。
• 複数の1次元埋め込みサンプルから2次元埋め込みを生成し、ランダム初期化に起因する分散を低減するための集約を実施する。
• 1次元および2次元空間における近傍密度およびコサイン類似度の分布を分析し、意味的構造とスパarsityを比較する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み単語埋め込みにおける最近接近傍トポロジーのみで、1次元埋め込みと同等の効果的な2次元表現を生成できるか？
• RQ2 特にNLPタスクにおけるMISCエンティティのような非同一データにおいて、2次元埋め込みと1次元埋め込みの適合度（再現率と適合率）の違いは何か？
• RQ3 1次元および2次元埋め込みを組み合わせることで性能がどの程度向上するか、またその効果はモデルタイプ（線形対非線形）に依存するか？
• RQ4 1次元および2次元表現における埋め込み空間の密度の違いは何か？これは意味的類似度の解釈にどのような含意をもたらすか？
• RQ5 複数の1次元埋め込みサンプルからの最近接近傍特徴を統合することで、下流タスクの性能向上および分散低減が達成できるか？

主な発見

• 2次元埋め込みは、3つの下流タスクすべてにおいて1次元文脈的埋め込みとほぼ同等の性能を達成しており、F1スコアの絶対差は1〜2ポイントにとどまる。
• 2次元埋め込みは、特にNLPタスクにおけるMISCエンティティのような非同一データにおいて再現率を顕著に向上させるが、しばしば適合率を低下させるため、特異性と耐性のトレードオフが生じている。
• 2次元埋め込み空間は1次元空間よりも著しく密度が高く、単語とその最近接近傍との最小類似度は2次元空間で0.75、1次元空間で0.24である。
• 2次元空間では、上位100個の最近接近傍類似度が0.999の周辺に集中しており、極めて高い局所的密度を示しているのに対し、1次元空間の類似度はより大きなばらつきを示す。
• 1次元および2次元埋め込みを連結することで、非線形モデル（例：テキスト帰納タスク）の性能が向上するが、線形モデルでは性能が低下するため、非線形な融合が必要であることが示唆される。
• 複数の1次元埋め込みサンプルからの最近接近傍特徴を統合することで、下流タスクの性能が向上し、ランダム初期化に起因する分散が低減することが示された。