[論文レビュー] Fuzzy paraphrases in learning word representations with a corpus and a lexicon.

Yuanzhi Ke, Masafumi Hagiwara|arXiv (Cornell University)|Nov 2, 2016

Natural Language Processing Techniques被引用数 1

ひとこと要約

本稿では、語彙から得られる曖昧な言い換え表現を、信頼性スコアを用いてトレーニング中に信頼性の低いものを動的に除外することで、語の表現を改善する新しい手法を提案する。このアプローチは多義語関連のノイズを低減し、先行手法を上回り、複数のベクトルを用いるモデルを必要とせず、1語あたり1つのベクトルを維持する。

ABSTRACT

A synonym of a polysemous word is usually only the paraphrase of one sense among many. When lexicons are used to improve vector-space word representations, such paraphrases are unreliable and bring noise to the vector-space. The prior works use a coefficient to adjust the overall learning of the lexicons. They regard the paraphrases equally. In this paper, we propose a novel approach that regards the paraphrases diversely to alleviate the adverse effects of polysemy. We annotate each paraphrase with a degree of reliability. The paraphrases are randomly eliminated according to the degrees when our model learns word representations. In this way, our approach drops the unreliable paraphrases, keeping more reliable paraphrases at the same time. The experimental results show that the proposed method improves the word vectors. Our approach is an attempt to address the polysemy problem keeping one vector per word. It makes the approach easier to use than the conventional methods that estimate multiple vectors for a word. Our approach also outperforms the prior works in the experiments.

研究の動機と目的

• 意味の特定に依存する同義語関係が一様に適用されると多義語の問題を悪化させるため、語の表現学習における多義語の課題に対処すること。
• 言い換え関係に信頼性の度合いを割り当てることで、語のベクトル学習における語彙ベースの信頼性を向上させること。
• 意味の曖昧さや誤った言い換え関係の悪影響を軽減しつつ、1語あたり1つのベクトルを維持する手法を開発すること。
• すべての言い換え関係を同等に扱うか、複雑な複数ベクトルモデルを用いる既存の手法を上回ること。

提案手法

• 語彙内の各言い換え関係に、特定の語の意味に対する意味的正確性を反映した信頼性スコアを付与する。
• モデルのトレーニング中に、信頼性スコアに比例する確率で言い換え関係をランダムに除外し、より信頼性の高い関係を優先的に保持する。
• 信頼性の低い言い換え信号を軽減する重み付き損失関数を用いて、語彙を語の表現学習に統合する。
• 意味の区別や複数ベクトルアプローチの複雑さを避けるために、1語あたり1つのベクトルを維持する。
• 動的言い換えフィルタリングを用いた、コーパスベースの目的関数と語彙ベースの正則化の組み合わせを最適化することで、語のベクトルを学習する。
• 言語的信頼性に基づいて学習または事前に割り当てられた信頼性スコアにより、ノイズの多い言い換え関係を効果的に抑制できる。

実験結果

リサーチクエスチョン

• RQ1 信頼性に配慮した言い換えフィルタリングは、多義語の存在下でも語のベクトル品質を向上させることができるか？
• RQ2 トレーニング中に信頼性の低い言い換え関係を動的に除外することで、すべての言い換え関係を同等に扱う手法よりも優れた語の表現が得られるか？
• RQ3 語彙情報の選択的利用によって、単一ベクトルの語表現モデルがより優れた性能を達成できるか？
• RQ4 固定係数を用いるか、複数のベクトルを用いる既存の手法と比較して、本手法はどのように差をつけるか？

主な発見

• 信頼性の低い言い換え関係からのノイズを低減することで、提案手法は語のベクトル品質を向上させた。
• すべての言い換え関係に同じ係数を適用する先行手法よりも優れており、語の類似度および類推タスクで優れた性能を達成した。
• 信頼性の高い言い換え関係のみを保持することで、複数ベクトルアプローチよりも複雑さを避けつつ、同等の性能を達成した。
• 信頼性スコアに基づく動的言い換え除外により、より頑健で正確な語の表現が得られた。