[論文レビュー] Syntax-based deep matching of short texts

Mingxuan Wang, Zhengdong Lu+2 more|arXiv (Cornell University)|Jul 25, 2015

Topic Modeling参考文献 20被引用数 43

ひとこと要約

本稿では、ツイートや返信のような短いテキストの一致を処理する構文に基づくディープラーニング手法であるDeep Match Tree (DEEPMATCHtree) を提案する。依存木の積空間を用いて一致パターンを抽出し、スパースなディープニューラルネットワークを訓練することで、構文情報を含まないモデルや単語埋め込みのみを用いるモデルよりも、挑戦的なソーシャルメディアの返信一致タスクで最先端の性能を達成した。

ABSTRACT

Many tasks in natural language processing, ranging from machine translation to question answering, can be reduced to the problem of matching two sentences or more generally two short texts. We propose a new approach to the problem, called Deep Match Tree (DEEPMATCHtree), under a general setting. The approach consists of two components, 1) a mining algorithm to discover patterns for matching two short-texts, defined in the product space of dependency trees, and 2) a deep neural network for matching short texts using the mined patterns, as well as a learning algorithm to build the network having a sparse structure. We test our algorithm on the problem of matching a tweet and a response in social media, a hard matching problem proposed in [Wang et al., 2013], and show, that DEEP MATCHtree can outperform a number of competitor models including one without using dependency trees and one based on word-embedding, all with large margins.

研究の動機と目的

• 質問応答や機械翻訳などの自然言語処理タスクにおける短いテキストの一致に直面する課題に対処すること。
• 製品空間表現を用いた依存木を通じて構文的構造を活用することで、一致の正確性を向上させること。
• 抽出された構文的パターンから学習するスパースでトレーニング可能なディープニューラルネットワークを構築し、一般化性能を向上させること。
• 構文的情報を持たないモデルや、単語埋め込みに依存するモデルを上回る性能を達成すること。
• ソーシャルメディアにおけるツイートと適切な返信の一致という難しいベンチマークタスクで、手法の有効性を検証すること。

提案手法

• ペアドされた短いテキストの依存木の積空間において、一致パターンを発見するためのマイニングアルゴリズムを導入する。
• 抽出された構文的パターンを特徴量として組み込んだ、一致を目的としたディープニューラルネットワークアーキテクチャを構築する。
• スパース構造を強制する学習アルゴリズムを用いて、ネットワークを訓練することで、効率性と一般化性能を向上させる。
• さまざまな短いテキスト一致タスクに適用可能な汎用的なフレームワークに従って動作する。
• 構文解析と分散表現学習を組み合わせることで、構造的および意味的類似性を捉える。
• 短いテキスト（ソーシャルメディア投稿など）の複雑さと曖昧さに対処できるように、アーキテクチャを最適化する。

実験結果

リサーチクエスチョン

• RQ1 構文に基づくディープラーニングモデルは、非構文的モデルを上回る性能を示せるか？
• RQ2 依存木の積空間を用いた手法は、意味的な一致パターンを効果的に発見できるか？
• RQ3 抽出された構文的パターンに基づいてトレーニングされたスパースなディープニューラルネットワークは、困難なソーシャルメディアの返信一致ベンチマークで優れた性能を達成できるか？
• RQ4 短いテキスト一致において、構文的構造と単語埋め込みの相対的な寄与度はどの程度か？
• RQ5 提案されたパターンマイニングおよびネットワークトレーニングパイプラインは、多様な短いテキスト一致応用に一般化可能か？

主な発見

• DEEPMATCHtreeは、依存木を含まないモデルに対して、ソーシャルメディアの返信一致タスクで顕著に優れた性能を示した。
• また、単語埋め込みベースのベースラインモデルに対しても、大きな性能向上を達成した。
• 依存木の積空間から得た構文的パターンの使用により、意味的埋め込みのみに依存する場合を上回る一致精度が達成された。
• スパースなニューラルネットワークアーキテクチャにより、計算効率を維持したまま効果的な学習が可能になった。
• 結果から、短いテキストの曖昧さと短さに対処するには、構文に配慮したモデリングが不可欠であることが示された。
• Wang et al. (2013) が提唱したベンチマークタスクにおいて、新たな最先端の性能を確立した。