[論文レビュー] Modeling Order in Neural Word Embeddings at Scale

Andrew Trask, David Gilmore+1 more|arXiv (Cornell University)|Jun 8, 2015

Topic Modeling参考文献 28被引用数 30

ひとこと要約

本稿では、分散単語埋め込みにおける単語レベルおよび文字レベルの順序を統合的に符号化するニューラル言語モデルであるDIEM（Directional and Interpolated Embedding Model）を提案する。方向性のあるコンテキスト窓と文字レベルの系列モデリングを統合することで、構文的類似性タスクにおいて誤差マージンを58%削減（85.8%の正確性）し、先行する最先端モデルを上回り、3台のマルチコアCPU上で1600億パラメータのモデルを1晩でトレーニング可能となる。

ABSTRACT

Natural Language Processing (NLP) systems commonly leverage bag-of-words co-occurrence techniques to capture semantic and syntactic word relationships. The resulting word-level distributed representations often ignore morphological information, though character-level embeddings have proven valuable to NLP tasks. We propose a new neural language model incorporating both word order and character order in its embedding. The model produces several vector spaces with meaningful substructure, as evidenced by its performance of 85.8% on a recent word-analogy task, exceeding best published syntactic word-analogy scores by a 58% error margin. Furthermore, the model includes several parallel training methods, most notably allowing a skip-gram network with 160 billion parameters to be trained overnight on 3 multi-core CPUs, 14x larger than the previous largest neural network.

研究の動機と目的

• 従来のモデルがしばしば無視する単語と文字の順序を明示的にモデル化することで、ニューラル単語埋め込みの性能を向上させること。
• bag-of-wordsや標準的なword2vecアプローチが、語彙的および系列的構造を捉えられないという限界を解決すること。
• 標準的なCPUハードウェア上で極めて大きなニューラルネットワーク（最大1600億パラメータ）を処理可能なスケーラブルなトレーニングフレームワークを開発すること。
• 順序モデリングの影響が構文的および意味的類似性タスクに与える影響、特に語幹変化および文法的関係の捉え方を評価すること。
• 単語レベルと文字レベルの表現を組み合わせることで、ベンチマーク類似性データセットにおいて優れたパフォーマンスが得られることを示すこと。

提案手法

• 標準的なskip-gramやCBOWモデルとは異なり、DIEMは順序を保持する方向性のあるコンテキスト窓を用いる。
• 単語および文字のコンテキスト窓内での相対的位置に基づいてベクトル表現を計算する方向性モデルを導入し、構文的構造への感受性を高める。
• 連続的bag-of-words（CBOW）またはskip-gramフレームワークからの単語レベル埋め込みと、別個の再帰的または畳み込みネットワークから得られる文字レベル埋め込みを統合する。
• トレーニング目的関数内で方向性情報を保持しつつ、ターゲット語の予測を最適化するために負例サンプリングとシグモイド活性化関数を採用する。
• 最終的な埋め込みは、単語レベルと文字レベルの表現を連結することで形成され、その後、共同目的関数を用いて微調整される。
• 複数のモデル（例：CLOWとDIEM）を統合するための新規な補間戦略が用いられ、上位k個の結果からの正規化されたコサイン類似度の和を用いることで、完全な再トレーニングなしに連結効果を模倣する。

実験結果

リサーチクエスチョン

• RQ1 ニューラル単語埋め込みにおいて、単語レベルおよび文字レベルの順序をモデル化することで、構文的および意味的類似性タスクのパフォーマンスが向上するか？
• RQ2 単語および文字の系列における方向性コンテキストを保持することで、学習されたベクトル表現の質にどのような影響を与えるか？
• RQ3 極めて大きなニューラルネットワーク（例：1600億パラメータ）を、スケーラブルで並列処理可能なフレームワークを用いて、標準的なCPUハードウェア上で効率的にトレーニングできるか？
• RQ4 文字レベルの順序モデリングが、語形変化や文法的関係のモデル化に顕著に寄与するか？
• RQ5 方向性モデルと窓型コンテキストモデルを比較した場合、モデルサイズ、トレーニング速度、パフォーマンスのトレードオフはどのように変化するか？

主な発見

• DIEMはGoogle Analogy Datasetで85.8%の正確性を達成し、最高の公表済み構文的結果（Pennington et al., 2014）と比較して誤差マージンを58%削減した。
• GloVe、Word2Vec、PENNモデルを含むすべての先行最先端システムを上回り、意味的および構文的評価の両方で40%のスコア向上を達成した。
• 3台のマルチコアCPU上で1600億パラメータのskip-gramモデルを1晩で成功裏にトレーニングし、商業用ハードウェア上でトレーニングされた最大のニューラルネットワークという記録を樹立した。
• 500次元のベクトルを用いた方向性モデルは構文的タスクで81.53%を達成し、CLOWベースラインの73.45%を顕著に上回った。
• コサイン類似度補間を用いてCLOWとDIEMの埋め込みを組み合わせた結果、76.49%の統合スコアを達成し、意味的および構文的カテゴリの両方で最高の公表結果を上回った。
• モデルは文字レベルの順序モデリングが語形変化タスク（過去形、複数形、比較形など）のパフォーマンスを顕著に向上させることを示し、特定のサブタスクで最大40%の向上を達成した。