[論文レビュー] Learning to Represent Words in Context with Multilingual Supervision

Kazuya Kawakami, Chris Dyer|arXiv (Cornell University)|Nov 14, 2015

Topic Modeling参考文献 44被引用数 17

ひとこと要約

本稿では、並列コーパスにおける単語翻訳を介した多言語的監視を活用することで文脈に依存する単語表現を学ぶ、双方向LSTMベースのモデルを提案する。多言語並列データを用いてトレーニングすることで、文脈における語の意味を明確化し、意味スーパーセンスタグ付け、低リソース機械翻訳、語彙置換タスクで最先端の性能を達成する。

ABSTRACT

We present a neural network architecture based on bidirectional LSTMs to compute representations of words in the sentential contexts. These context-sensitive word representations are suitable for, e.g., distinguishing different word senses and other context-modulated variations in meaning. To learn the parameters of our model, we use cross-lingual supervision, hypothesizing that a good representation of a word in context will be one that is sufficient for selecting the correct translation into a second language. We evaluate the quality of our representations as features in three downstream tasks: prediction of semantic supersenses (which assign nouns and verbs into a few dozen semantic classes), low resource machine translation, and a lexical substitution task, and obtain state-of-the-art results on all of these.

研究の動機と目的

• 多義語を正しく捉えられない静的単語埋め込みの限界を克服し、文脈に依存する表現を学ぶこと。
• 文の文脈に基づいて語の意味を関数としてモデル化できるニューラルアーキテクチャを開発すること。
• 並列コーパスにおける単語翻訳という弱い監視信号を、文脈に依存する表現の学習に活用すること。
• 微細な意味理解を要する下流NLPタスクにおける学習表現の有効性を評価すること。
• 明示的な意味インベントリを用いずに、多言語的監視によって強固で汎用性の高い文脈内単語表現を実現できることを示すこと。

提案手法

• 双方向LSTMが各文を処理し、左から右および右から左の文脈を符号化し、文脈に依存する隠れ状態を生成する。
• 各トークン位置における前向きおよび後向きの隠れ状態を連結することで、文脈内単語表現が形成される。
• モデルはコントラスト型の目的関数でトレーニングされる：ある単語の文脈内表現に対して、正しい第二言語への翻訳が表現空間内で最も類似性が高くなるようにする。
• 並列コーパスからの語の対応関係（word alignments）を用いて、文脈内単語と単一語の翻訳ペアを抽出し、監視信号とする。
• トレーニング目的関数は、正しい翻訳を予測できる表現を生成するよう促進し、意味の違いを暗黙的に学習する。
• 多言語並列データでの事前学習により、低リソース環境および下流タスクへの転移が可能になる。

実験結果

リサーチクエスチョン

• RQ1 並列コーパスからの多言語的監視が、明示的な意味アノテーションなしに、文脈に依存する単語表現を効果的に学習できるか。
• RQ2 学習された表現が、スーパーセンスタグ付けや語彙置換といった多様な下流タスクにどれほど一般化できるか。
• RQ3 多言語的事前学習は、単言語ベースラインと比較して、低リソース機械翻訳の性能を向上させるか。
• RQ4 語彙サイズや屈曲的複雑性の異なる言語間で、モデルの性能はどのように変化するか。
• RQ5 双方向LSTMに基づくニューラル合成関数は、関連のないおよび関連のある語の意味を、文脈内で効果的にモデル化できるか。

主な発見

• 本モデルは、意味スーパーセンスタグ付けタスクで最先端の性能を達成し、既存のベースラインを上回った。
• 低リソース機械翻訳では、多言語データでの事前学習のおかげで、わずかな並列データでも収束が早く、より高い性能を達成した。
• 語彙置換タスクでは、文脈に依存しないベースラインと比較して2.9のスコア上昇を達成し、単語埋め込みの算術平均や幾何平均に基づく手法を著しく上回った。
• ドイツ語で監視されたモデルは、さまざまなタスクで安定的かつ優れた性能を示したが、フィンランド語モデルは語彙サイズが大きいことが原因で性能が低かった。
• 事前学習済み表現は、低リソース翻訳において収束が速く、パープレクサリティも低くなることを示し、多言語的事前学習の利点を裏付けた。
• 翻訳確率（フランス語への翻訳：usine vs. pl\'antes）に基づいて、多義語「plant」（工場 vs. 植物）を効果的に意味解釈できた。