[論文レビュー] Bilingual Learning of Multi-sense Embeddings with Discrete Autoencoders

Simon Šuster, Ivan Titov+1 more|arXiv (Cornell University)|Mar 30, 2016

Natural Language Processing Techniques参考文献 61被引用数 10

ひとこと要約

本論文では、単語の意味多義性を解消するため、単語の意味を同時に学習する離散的自己符号化モデルを提案する。このモデルは、単語の文脈と翻訳文の文レベルの整合性を活用することで、学習段階で第二言語の文脈を教師信号として用いる。テスト段階では翻訳データが使用されないにもかかわらず、このアプローチにより意味の曖昧さ解消が向上し、単語の意味固有の表現が単語の意味多義性を考慮しないベースラインよりも質の高いものとなる。

ABSTRACT

We present an approach to learning multi-sense word embeddings relying both on monolingual and bilingual information. Our model consists of an encoder, which uses monolingual and bilingual context (i.e. a parallel sentence) to choose a sense for a given word, and a decoder which predicts context words based on the chosen sense. The two components are estimated jointly. We observe that the word representations induced from bilingual data outperform the monolingual counterparts across a range of evaluation tasks, even though crosslingual information is not available at test time.

研究の動機と目的

• テスト段階で利用可能な双方向言語データがなくても、学習段階での双方向言語の監視信号を統合することで、意味多義語表現の質を向上させること。
• 単語の意味多義性の曇りを解消し、意味固有の表現学習を向上させるために、双方向言語情報が単語の意味多義性を考慮する文脈で有効であるかどうかを調査すること。
• 並列コーパスにおける単語レベルおよび文レベルの両方の整合性をサポートする柔軟なモデルを開発し、意味予測に用いること。
• 埋め込み次元数、語彙サイズ、学習データ量といったさまざまなハイパーパrameterに対して、双方向言語の信号の頑健性を評価すること。
• 内生的および外生的タスクにおいて、提案された双方向多義語モデルと単語の意味多義性を考慮しないSkip-Gramおよび多義語ベースラインの性能を比較すること。

提案手法

• モデルは、語の意味を表すカテゴリカルな隠れ層を備えた離散的自己符号化器を用い、意味固有の表現を可能にする。
• エンコーダーは、第一言語の文脈と対応する第二言語の文脈の両方を用いて、語の意味の確率を推定する。この推定には、対数線形モデルが用いられる。
• デコーダーは、ピボット語とその予測された意味に基づき、第一言語の周辺語を再構築する。この再構築には、すべての可能な意味についてのソフト和が用いられる。
• モデルは、意味予測と文脈再構築の両方の目的関数を同時に最適化することで、エンド・ツー・エンドに学習される。
• エンコーダーは、第一言語と第二言語の文脈ベクトルの重み付き組み合わせを用い、バランスを制御する学習可能なハイパーパrameter λ を備える。
• この手法は、単語レベルの対応や文レベルの対応の両方を柔軟にサポートでき、単語レベルの対応を必要としない。

実験結果

リサーチクエスチョン

• RQ1 テスト段階で双方向言語情報が利用不可であっても、双方向言語の文脈が意味多義語表現の質を向上させることができるか？
• RQ2 単語の意味多義性を考慮する文脈評価設定において、第二言語の文脈の導入が意味の曖昧さ解消性能に与える影響は何か？
• RQ3 提案された双方向多義語モデルが、内生的評価タスクにおいて、単語の意味多義性を考慮しない多義語モデルおよび標準的なSkip-Gramモデルを上回るか？
• RQ4 埋め込み次元数、語彙サイズ、データ量といったさまざまなモデルハイパーパrameterに対して、双方向信号の頑健性はどの程度か？
• RQ5 外生的NLPタスク（例：品詞タグ付け）において、双方向監視が性能に与える影響は何か？

主な発見

• 双方向信号は、内生的評価タスクにおいて意味多義語表現の質を顕著に向上させ、単語の意味多義性を考慮しないSkip-Gramモデルおよび単語の意味多義性を考慮する単語ベースラインを上回る。
• 文書レベルの対応のみを用いても、双方向信号は有効である。これは、完全な文脈が意味のある監視信号を提供するのに十分であることを示唆している。
• 埋め込み次元数、語彙サイズ、学習データ量の変動に対しても、双方向監視による向上効果は頑健である。
• 外生的品詞タグ付けタスクでは、双方向多義語モデルは単語の意味多義性を考慮する単語ベースラインを上回るが、標準的なSkip-Gramモデルには及ばない。
• モデルの性能は、さまざまな設定において安定的かつ一貫しており、意味固有の表現学習に信頼できるインダクティブバイアスを提供していることが示された。
• 意味予測に離散的潜在層を用いることで、意味の割り当てと文脈再構築の両方を効果的に共同最適化でき、より情報量の多い語の表現が得られた。