[論文レビュー] Context Aware Document Embedding

Zhaocheng Zhu, Junfeng Hu|arXiv (Cornell University)|Jul 5, 2017

Topic Modeling参考文献 16被引用数 7

ひとこと要約

この論文は、深層ニューラルネットワークを用いて、個々の語の出現に対して動的で文脈依存の重みを割り当てる文書埋め込みモデルを提案する。標準的な doc2vec よりも、大規模な外部コーパスに依存せずに、意味的テキスト類似度の性能を向上させる。従来の IDF 重み付けを改善するため、CNN および GRU の補助モデルを用いて文脈に敏感な注目を学習し、より細分化された文書表現を実現することで、トピックのサブキーワードをよりよく捉える。

ABSTRACT

Recently, doc2vec has achieved excellent results in different tasks. In this paper, we present a context aware variant of doc2vec. We introduce a novel weight estimating mechanism that generates weights for each word occurrence according to its contribution in the context, using deep neural networks. Our context aware model can achieve similar results compared to doc2vec initialized byWikipedia trained vectors, while being much more efficient and free from heavy external corpus. Analysis of context aware weights shows they are a kind of enhanced IDF weights that capture sub-topic level keywords in documents. They might result from deep neural networks that learn hidden representations with the least entropy.

研究の動機と目的

• doc2vec がすべての語の出現に等しい重みを割り当て、文脈的重みを無視するという限界を是正すること。
• 大規模な外部事前学習語ベクトルに依存せずに、文脈に配慮した語の重みを学習する手法を開発すること。
• 共通語ではなく、トピックのサブキーワードに注目することで、意味的テキスト類似度タスクのための文書表現を向上させること。
• 深層ニューラルネットワークが、最小エントロピーの表現を自然に学習することで、語の寄与度に非対称な注目が生じるかどうかを調査すること。

提案手法

• 各語の出現が文書ベクトルに与える寄与度を、その語を置き換えた際の文書ベクトルの変化を測定することで、新しい重み推定手法を提案する。
• 語の置換が文書ベクトル表現に与える影響を予測するために、畳み込みニューラルネットワーク（CNN）とゲート付き再帰ユニット（GRU）を補助モデルとして用いる。
• 標準的な doc2vec が生成する文書ベクトルを用いて、補助モデルを学習し、得られた隠れ状態の変化から文脈に配慮した重みを推定する。
• 最終的な文脈に配慮した重みは、ベースとなる IDF に類似した項と、文脈固有のバイアスの組み合わせで構成され、エンド・ツー・エンドの学習で学習される。
• word2vec や doc2vec の skip-gram や DBOW と同様に、ネガティブサンプリングとシグモイドベースの目的関数を用いる。
• 隠れ状態と特徴の変化を可視化し、異なる語が文書ベクトル表現にどのように影響を与えるかを分析する。

実験結果

リサーチクエスチョン

• RQ1 動的で文脈に敏感な語の重み付けは、IDF などの静的重み付け方式を上回る文書埋め込み品質を実現できるか？
• RQ2 同じ均一なターゲットで学習されたとしても、深層ニューラルネットワークは語の重要性の割り当てにどのように影響を与えるか？
• RQ3 文脈に配慮した重み付けは、標準的な doc2vec や IDF 重み付けの変種と比較して、意味的テキスト類似度タスクの性能をどの程度向上させるか？
• RQ4 学習された文脈に配慮した重み付けは、従来の頻度ベースや IDF に基づく手法と比較して、トピックのサブキーワードをより効果的に反映しているか？
• RQ5 文書ベクトルにおける語の寄与度の非対称性は、表現エントロピーを最小化する深層ネットワークの性質に起因するのか？

主な発見

• 文脈に配慮した重み付けは IDF と中程度の相関（ピアソンの r = 0.5–0.6）を示すが、特にレア語や特徴的な語の特定において、IDF よりも効果的である。
• 外部の事前学習コーパスを一切必要とせず、Wikipedia 語ベクトルで初期化された doc2vec と同等の性能を達成する。
• t-SNE の可視化では、文脈に配慮した埋め込みが IDF 重み付けモデルよりも明確なクラスタを形成しており、特に性能向上が顕著な「回答-学生」ドメインで顕著である。
• CNN と GRU の補助モデルは語の置換に対して異なった反応を示す：CNN 特徴は高 IDF 語で最も変化し、GRU の隠れユニットノルムは低 IDF 語で最も減少する。これは非対称な注目を示している。
• モデルの注目メカニズムは、認知における横方向抑制を模倣しており、共通語を抑制し、物理学関連のテキストでは「difference」や「positive」のようなレアで文脈を規定する語を強調する。
• 著者らは、深層ニューラルネットワークが自然に最小エントロピーの表現を学習するため、ターゲットが均一に埋め込まれても、文脈に配慮した非対称な語の重み付けが生じることを結論づけている。