[論文レビュー] Polyglot: Distributed Word Representations for Multilingual NLP

Rami Al‐Rfou, Bryan Perozzi+1 more|arXiv (Cornell University)|Jul 5, 2013

Natural Language Processing Techniques参考文献 29被引用数 308

ひとこと要約

この論文では、Wikipediaコーパスを用いて117言語の分散表現を学習する多言語埋め込みシステムPolyglotを紹介する。非教師あり学習と効率的な深層ニューラルネットワークを活用することで、品詞タグ付けにおいて競争力のある性能を達成し、英語、デンマーク語、スウェーデン語では最先端の結果に匹敵またはそれを上回る。また、大文字・小文字の区別といった言語固有の特徴を保持している。

ABSTRACT

Distributed word representations (word embeddings) have recently contributed to competitive performance in language modeling and several NLP tasks. In this work, we train word embeddings for more than 100 languages using their corresponding Wikipedias. We quantitatively demonstrate the utility of our word embeddings by using them as the sole features for training a part of speech tagger for a subset of these languages. We find their performance to be competitive with near state-of-art methods in English, Danish and Swedish. Moreover, we investigate the semantic features captured by these embeddings through the proximity of word groupings. We will release these embeddings publicly to help researchers in the development and enhancement of multilingual applications.

研究の動機と目的

• 言語学的専門知識を一切不要とする、スケーラブルで非教師ありの多言語単語表現学習手法の開発。
• 言語固有の特徴工学と手動チューニングの必要性が多言語NLPのボトルネックとなっている問題の解決。
• 公開可能で高品質な多言語埋め込みリソースの作成を目的とし、言語間研究やシステム開発を支援する。
• 多様な言語、特にリソースが限られる言語を含む、標準的なNLPタスク（品詞タグ付け）における埋め込みの実用性の評価。
• 埋め込みが捉えている言語的・意味的性質、特に複数の言語にまたがる文法的・意味的類似性の調査。

提案手法

• 117言語（10,000記事以上）のWikipedia単語コーパスを用いて、ネガティブサンプリングを用いたスキップグラムモデルで連続的分散単語埋め込みを学習。
• 欧州言語の文脈で、大文字・小文字の区別を保持（小文字変換を行わない）ことで、言語固有の特徴を維持。これに対して、従来の英語中心のアプローチとは異なり、言語固有の特徴を損なわない。
• 文脈ウィンドウを用いたニューラルネットワークアーキテクチャを採用し、周囲の単語を予測することで、各単語の密なベクトル表現を学習。
• Theanoにおける最適化を活用し、複数言語のスケーラブルなコーパスに対する効率的な学習を実現。
• 事前学習済み埋め込みを用いて品詞タガーを初期化し、ラベル付きデータで微調整することで、特徴の有効性を評価。
• 未知語（OOV）の処理に耐性があるかを評価するため、OOV語を1つの<UNK>トークンに置き換える手法を採用し、OOV処理への耐性を測定。

実験結果

リサーチクエスチョン

• RQ1 Wikipediaの単語コーパスを用いた非教師あり単語埋め込みが、言語固有の特徴工学なしに、多様な言語で品詞タグ付けタスクにおいて競争力のある性能を達成できるか？
• RQ2 学習された埋め込みが、複数の言語にまたがる意味的・文法的関係をどの程度適切に捉えているか？
• RQ3 学習コーパスのサイズ、特にリソースが限られる言語において、埋め込みの性能がどのように変化するか？
• RQ4 欧州言語において大文字・小文字の区別を保持する埋め込みの性能は、英語専用モデルで用いられる小文字変換戦略と比較して、どの程度優れているか？
• RQ5 埋め込みが、特にリソースが限られる状況下で、下流のNLPタスクの初期化特徴としてどの程度有効であるか？

主な発見

• Polyglot埋め込みは、言語固有のチューニングなしで、品詞タグ付けタスクにおいて競争力のある精度を達成。英語、デンマーク語、スウェーデン語では、最先端のモデルと同等またはそれを上回った。
• 英語では、TnTタガーを上回り、トークンカバレッジで98.06%、語彙カバレッジで79.73%のテスト精度を達成。ランダム初期化タガーに比べ0.25%の向上を示した。
• ブルガリア語やスロベニア語のようなリソースが限られる言語に対しても、依然として高い性能を示した。ブルガリア語では94.58%のトークンカバレッジ、77.70%の語彙カバレッジを達成。ランダムベースラインに比べ2.01%の精度低下が改善された。
• ドイツ語やチェコ語は、Wikipedia記事数が少なめであったが、既知語では98.5%以上の精度を達成。これは、限られたデータでも学習された特徴が強く、頑健であることを示している。
• すべての言語でタグ付け性能が向上し、特にリソースが限られる状況で顕著な向上が見られた。例えば、スロベニア語では、ランダム初期化に比べ2.68%の精度低下改善が得られた。
• OOV品詞タグ付けデータセットにおける埋め込みの語彙カバレッジは言語によって異なり、英語では98.06%、スロベニア語では95.33%を示した。これはドメインシフトや語彙の重複度の違いを反映している。