[論文レビュー] Dis-S2V: Discourse Informed Sen2Vec

Tanay Kumar Saha, Shafiq Joty+2 more|arXiv (Cornell University)|Oct 25, 2016

Topic Modeling参考文献 25被引用数 3

ひとこと要約

本稿では、内容ベースのSen2Vecモデルに話題的関係を統合することで文表現を学習する新しい手法Dis-S2Vを提案する。話題的グラフを用いて文間関係を符号化し、リトロフィットやグラフ正則化を適用することでベクトル表現を向上させ、分類、クラスタリング、ランク付けの各タスクにおいて、内容のみに依存するベースラインと比較して顕著な性能向上を達成する。

ABSTRACT

Vector representation of sentences is important for many text processing tasks that involve clustering, classifying, or ranking sentences. Recently, distributed representation of sentences learned by neural models from unlabeled data has been shown to outperform the traditional bag-of-words representation. However, most of these learning methods consider only the content of a sentence and disregard the relations among sentences in a discourse by and large. In this paper, we propose a series of novel models for learning latent representations of sentences (Sen2Vec) that consider the content of a sentence as well as inter-sentence relations. We first represent the inter-sentence relations with a language network and then use the network to induce contextual information into the content-based Sen2Vec models. Two different approaches are introduced to exploit the information in the network. Our first approach retrofits (already trained) Sen2Vec vectors with respect to the network in two different ways: (1) using the adjacency relations of a node, and (2) using a stochastic sampling method which is more flexible in sampling neighbors of a node. The second approach uses a regularizer to encode the information in the network into the existing Sen2Vec model. Experimental results show that our proposed models outperform existing methods in three fundamental information system tasks demonstrating the effectiveness of our approach. The models leverage the computational power of multi-core CPUs to achieve fine-grained computational efficiency. We make our code publicly available upon acceptance.

研究の動機と目的

• 既存の内容中心のモデルでしばしば無視される話題的レベルの文間関係を組み込むことで、文表現学習を向上させること。
• 文表現学習における話題的構造を効果的にモデル化・活用する課題に取り組むこと。
• 話題的情報が分類、クラスタリング、ランク付けなどの下流NLPタスクに与える影響を評価すること。
• マルチコアCPU上でスケーラブルに動作する、計算的に軽量なモデルを構築すること。

提案手法

• ノードを文、エッジを文の類似度として表す話題的グラフを構築し、文間関係を捉える。
• node2vecアルゴリズムを用いて話題的グラフ上で文表現を事前学習し、構造的・関係的情報を捉える。
• 2つのリトロフィット戦略を適用する：(i) 1ホップ近傍を用いた反復的隣接ベースのリトロフィット、(ii) より柔軟な近傍選択を可能にする判別的サンプリング手法。
• 元のSen2Vec目的関数にグラフスムージング正則化項を導入し、コンテンツ情報と話題的情報を同時に最適化する。
• Skip-gramまたはDBOWを用いた内容ベースのSen2Vecモデルと、話題に配慮した表現をリトロフィットまたは正則化によって統合する。
• マルチコアCPUの並列処理を活用し、学習および推論における細粒度の計算効率を実現する。

実験結果

リサーチクエスチョン

• RQ1 文間の話題的関係は、分散表現の質を向上させることができるか？
• RQ2 文間関係は、既存の内容ベースの文埋め込みフレームワークに効果的にモデル化・統合できるか？
• RQ3 話題的構造を統合することで、分類、クラスタリング、ランク付けなどの下流NLPタスクに測定可能な改善が得られるか？
• RQ4 リトロフィットと正則化のどちらの手法が、意味的コンテンツを保持しつつ話題に配慮した表現を強化するのに適しているか？

主な発見

• 提案されたDis-S2Vモデルは、分類、クラスタリング、ランク付けの3つのタスクすべてで、内容のみのSen2Vecベースラインを上回った。
• グラフスムージング正則化項を導入した正則化モデルは、すべてのタスクで優れた性能を示し、話題的情報の強固な統合を示している。
• リトロフィットベースのモデルは分類とクラスタリングで顕著な向上を示したが、ランク付けタスクではやや効果が限定的であった。
• 話題的グラフ表現は、文間のトピック的関係と論理的関係を効果的に捉えており、文ベクトルの意味的整合性を向上させた。
• マルチコアCPU上で高い計算効率とスケーラビリティを達成しており、大規模応用に実用的であることが示された。