[論文レビュー] Context is Everything: Finding Meaning Statistically in Semantic Spaces.

Eric Zelikman|arXiv (Cornell University)|Mar 22, 2018

Topic Modeling参考文献 14被引用数 3

ひとこと要約

本稿では、文脈に応じた語の重要性を統計的に裏付けられた測度として、Contextual Salience (CoSal) を提案する。CoSal は、tf-idf や最先端モデルを上回る性能を示し、文の埋め込みタスクにおいて優れた結果を達成する。小さな文脈と語句レベルの意味を活用することで、文書類似度、要約、コサイン距離計算といった下流 NLP タスクにおけるより正確で文脈に適した表現を可能にし、Facebook の SentEval ベンチマークで優れた性能を発揮する。

ABSTRACT

This paper introduces Contextual Salience (CoSal), a simple and explicit measure of a word's importance in context which is a more theoretically natural, practically simpler, and more accurate replacement to tf-idf. CoSal supports very small contexts (20 or more sentences), out-of context words, and is easy to calculate. A word vector space generated with both bigram phrases and unigram tokens reveals that contextually significant words disproportionately define phrases. This relationship is applied to produce simple weighted bag-of-words sentence embeddings. This model outperforms SkipThought and the best models trained on unordered sentences in most tests in Facebook's SentEval, beats tf-idf on all available tests, and is generally comparable to the state of the art. This paper also applies CoSal to sentence and document summarization and an improved and context-aware cosine distance. Applying the premise that unexpected words are important, CoSal is presented as a replacement for tf-idf and an intuitive measure of contextual word importance.

研究の動機と目的

• tf-idf が文脈的に関連する語の重要性を捉えることの限界を是正すること。
• tf-idf の代替として、単純で理論的根拠があり、計算的にも効率的な文脈内での語の重要性を測る手法を開発すること。
• 文脈的に顕著な語を組み込むことで、文および文書の表現学習を向上させること。
• CoSal を用いた重み付き bag-of-words モデリングにより、文の埋め込み品質を向上させること。
• 文類似度、要約、コサイン距離計算といった下流 NLP タスクでの性能向上を実現すること。

提案手法

• 小さな文脈（20 文以上）内の共起パターンに基づき、統計的測度としての文脈的顕著性（CoSal）を定義すること。
• 単語のユニグラムトークンとビグラム語句の両方を用いて、語句レベルの意味を捉える語ベクトル空間を構築すること。
• CoSal を用いて bag-of-words 文の埋め込みに重みを付与し、文脈に配慮した文の表現を生成すること。
• 文および文書要約の向上のため、CoSal を用いて文脈的に顕著な語を優先すること。
• CoSal を組み込んだ文脈に配慮したコサイン距離メトリクスを導入し、意味的類似度をよりよく反映すること。
• Facebook の SentEval ベンチマークを用いて、tf-idf や最先端モデルと比較することで CoSal の有効性を検証すること。

実験結果

リサーチクエスチョン

• RQ1 文脈に基づいた語の重要性測定法は、tf-idf よりも意味的関連性をよりよく捉えることができるか？
• RQ2 SkipThought や順序なし文モデルといった既存手法と比較して、CoSal は文の埋め込み品質をどのように向上させるか？
• RQ3 文脈的に顕著な語は、意味的空間における語句をどの程度定義し、区別するか？
• RQ4 CoSal は文および文書要約タスクの性能向上に寄与するか？
• RQ5 CoSal を基盤とする文脈に配慮したコサイン距離は、意味的類似度推定をより正確にできるか？

主な発見

• CoSal は、Facebook の SentEval ベンチマークの全テストで tf-idf を上回り、語の重要性推定において一貫した優位性を示した。
• CoSal を用いた文の埋め込みモデルは、SentEval タスクの大部分で最先端技術と同等の性能を達成した。
• 文脈的に顕著な語が、学習済みのベクトル空間における語句の定義に大きく寄与している。
• 文脈的に顕著な語を強調することで、モデルは文および文書要約の性能を向上させた。
• CoSal を基盤とする文脈に配慮したコサイン距離は、標準的なコサイン距離よりも意味的類似度をより正確に測定できた。
• 非常に小さな文脈（20 文以上）でも CoSal は有効な表現学習を可能にしたため、実世界の応用に実用的である。