[論文レビュー] Efficient Vector Representation for Documents through Corruption

Minmin Chen|arXiv (Cornell University)|Jul 8, 2017

Topic Modeling参考文献 29被引用数 78

ひとこと要約

Doc2VecC は corruption-based regularization によって学習された語 embedding の平均として文書を表現し、感情分析、分類、そして意味的関連性において高速かつスケーラブルな文書表現を実現する。

ABSTRACT

We present an efficient document representation learning framework, Document Vector through Corruption (Doc2VecC). Doc2VecC represents each document as a simple average of word embeddings. It ensures a representation generated as such captures the semantic meanings of the document during learning. A corruption model is included, which introduces a data-dependent regularization that favors informative or rare words while forcing the embeddings of common and non-discriminative ones to be close to zero. Doc2VecC produces significantly better word embeddings than Word2Vec. We compare Doc2VecC with several state-of-the-art document representation learning algorithms. The simple model architecture introduced by Doc2VecC matches or out-performs the state-of-the-art in generating high-quality document representations for sentiment analysis, document classification as well as semantic relatedness tasks. The simplicity of the model enables training on billions of words per hour on a single machine. At the same time, the model is very efficient in generating representations of unseen documents at test time.

研究の動機と目的

• BoW や従来のニューラル手法を超える効率的な文書表現を動機づける。
• 破損機構を備えた単純な平均ベースの文書ベクトルを提案する。
• 破損が情報量豊富な語を好むデータ依存の正則化として機能することを示す。
• 感情分析、分類、意味的関連性タスクにおいて競合的または優れた性能を示す。

提案手法

• 各文書を、局所的文脈と共同で学習される語埋め込みの平均として表現する。
• 学習時に単語をランダムに削除する破損（ドロップアウト）機構を導入し、残りの成分を偏りがないようスケールする。
• P(w|c, x̃) による局所文脈とグローバルな文書文脈を組み合わせてターゲット語の確率をモデル化し、ネガティブサンプリングで最適化する。
• 破損平均を中心としたテイラー展開を提供し、共通して情報量の少ない語を抑制するデータ依存の正則化項を導出する。
• Word2Vec に似た方法で projection 行列 U および V を学習し、効率的な学習と推論を実現する。
• 見落とし文書は、学習済み語埋め込みの単純な平均を取るだけで表現する。

実験結果

リサーチクエスチョン

• RQ1 破損ベースの目的関数で学習された語埋め込みの単純な平均が高品質な文書表現を生み出すか。
• RQ2 破損機構は性能と学習速度を改善するデータ依存の正則化として機能するか。
• RQ3 Doc2VecC は感情分析、分類、意味的関連性の分野で最先端の文書表現とどのように比較されるか。
• RQ4 平均化された語埋め込みを使用した場合、テスト時の表現生成は効率的か。

主な発見

• Doc2VecC は感情分析、分類、意味的関連性において Paragraph Vector や他のベースラインと競合的または優れた性能を達成する。
• 学習時間は高速で大規模コーパスにもスケールし、テスト時の表現は語埋め込みの単純な平均を取るだけで済む。
• 破損機構はデータ依存の正則化として機能し、共通で識別力の低い語の埋め込みを抑制し、テスト時の計算を削減する。
• 実証的に、Doc2VecC は停止語に支配されず、下流タスクにとってより情報量の多い語埋め込みを生み出す。
• 語の類義と意味的関連性のタスクでは、Doc2VecC の埋め込みが多くの設定で Word2Vec を上回り、特にコーパスが大きい場合に顕著である。