[論文レビュー] On the Convergent Properties of Word Embedding Methods

Yingtao Tian, Vivek Kulkarni+2 more|arXiv (Cornell University)|May 12, 2016

Topic Modeling参考文献 10被引用数 3

ひとこと要約

この論文は、埋め込み次元間の canonical correlation (CCA) を測定することで、異なるランダム初期化における単語埋め込み手法の一貫性を評価するための内在的指標 ζ_CCA を提案する。GloVe は skip-gram よりも高い一貫性と下流タスクの整合性を示しており、収束安定性は手法によって顕著に異なり、外部データを用いずに定量的に測定可能であることが示された。

ABSTRACT

Do word embeddings converge to learn similar things over different initializations? How repeatable are experiments with word embeddings? Are all word embedding techniques equally reliable? In this paper we propose evaluating methods for learning word representations by their consistency across initializations. We propose a measure to quantify the similarity of the learned word representations under this setting (where they are subject to different random initializations). Our preliminary results illustrate that our metric not only measures a intrinsic property of word embedding methods but also correlates well with other evaluation metrics on downstream tasks. We believe our methods are is useful in characterizing robustness -- an important property to consider when developing new word embedding methods.

研究の動機と目的

• 異なるランダム初期化のもとで単語埋め込みが類似した表現に収束するかどうかを調査すること。
• 埋め込みの一貫性と耐性に関する内在的評価指標の欠如に対処すること。
• 下流タスクに依存せずに埋め込み空間間の類似性を定量化する手法を開発すること。
• 標準的な NLP 評価タスク（例：語のアナロジー）における性能と内在的一致性を関連付けること。

提案手法

• 埋め込み次元間の対応を評価するため、一次元対一次元の線形変換を用いたマッピングベースの類似性測定法を提案する。
• 2つの埋め込み行列の次元間の複雑な関係をモデル化するため、Canonical Correlation Analysis (CCA) を用いた多対一アライメントを導入する。
• 2つの埋め込み空間間の上位の canonical 相関の平均として、内在的指標 ζ_CCA を定義する。
• 異なるランダムシードおよびコーパス順序で学習された GloVe と skip-gram 埋め込みを CCA を用いて比較する。
• バリデーションのベンチマークとして、語のアナロジータスクにおける一致度を Krippendorff’s alpha を用いて計算する。
• 60億トークンの統合コーパス（Wikipedia + News Crawl）を用い、語彙数 400k、次元数 300 の埋め込みを採用する。

実験結果

リサーチクエスチョン

• RQ1 異なるランダム初期化で学習された単語埋め込みは、同等の特徴を学習するのか、それともその一貫性は偶然に起因するのか？
• RQ2 初期化に依存しない形で、学習された単語表現の一貫性を定量的に測定する方法は何か？
• RQ3 GloVe と skip-gram などの異なる埋め込み手法は、収束安定性および次元ごとの対応性においてどのように比較できるか？
• RQ4 内在的一致性は、語のアナロジータスクなどの下流 NLP タスクにおける性能と相関するか？
• RQ5 単純な相関を超えて、canonical correlation analysis は埋め込み空間間の類似性を効果的に捉えられるか？

主な発見

• GloVe 埋め込みは skip-gram よりもランダム初期化にわたる一貫性が高く、ζ_CCA は 0.74 対 0.66 であった。
• 語のアナロジータスクにおける一致度スコア（Krippendorff’s alpha）は、GloVe-1/GloVe-2 で 0.89、SG-1/SG-2 で 0.79 であり、ζ_CCA と相関していた。
• CCA を用いた canonical 相関は、GloVe が上位 200 次元でほぼ完全な相関を達成していることを示しており、強い構造的安定性を示している。
• 一次元対一次元の次元マッピングでは、GloVe の平均相関が 21.6% であったのに対し、skip-gram は 19.5% であり、一貫性の高さが確認された。
• 提案された ζ_CCA 指標は、アナロジータスクにおけるモデルの一致度と強く相関しており、内在的評価指標としての有効性が検証された。
• ランダム埋め込みではほぼゼロの相関が得られ、観察された類似性が偶然に起因するものではないことを確認した。