[論文レビュー] Lattice CNNs for Matching Based Chinese Question Answering

Yuxuan Lai, Yansong Feng+4 more|arXiv (Cornell University)|Feb 25, 2019

Topic Modeling参考文献 30被引用数 5

ひとこと要約

本稿では、中国語の質問応答のためのテキストマッチングにおいて、多段階の情報を取り込むために語彙ラティスを活用する、新しいニューラルネットワークアーキテクチャ「Lattice CNN（LCNs）」を提案する。動的畳み込みカーネルとゲート付きプーリングを用いて、単語と文字を同時に処理することで、LCNsは文書ベースおよび知識ベースの中国語質問応答タスクにおいて、最先端のモデルを上回り、語の区切りのばらつきや表現の多様性に対して優れたロバスト性を示した。

ABSTRACT

Short text matching often faces the challenges that there are great word mismatch and expression diversity between the two texts, which would be further aggravated in languages like Chinese where there is no natural space to segment words explicitly. In this paper, we propose a novel lattice based CNN model (LCNs) to utilize multi-granularity information inherent in the word lattice while maintaining strong ability to deal with the introduced noisy information for matching based question answering in Chinese. We conduct extensive experiments on both document based question answering and knowledge based question answering tasks, and experimental results show that the LCNs models can significantly outperform the state-of-the-art matching models and strong baselines by taking advantages of better ability to distill rich but discriminative information from the word lattice input.

研究の動機と目的

• 中国語の短いテキストマッチングにおける語の区切りの曖昧さと表現の多様性の課題に対処すること。
• 区切りエラーと粒度の不一致によってマッチング性能が制限される固定された語の区切りパイプラインの限界を克服すること。
• すべての可能な語と文字の区切りを表す語彙ラティスをニューラルネットワークの入力として用いることで、より豊富で文脈に適応した特徴抽出を可能にすること。
• 単一の区切りに依存せずに、多段階の表現を活用することで、文書ベースおよび知識ベースの中国語質問応答におけるマッチング性能を向上させること。
• 複雑なラティス構造からの判別的特徴を捉えながら、強いノイズ耐性を維持するスケーラブルで効率的なディープラーニングフレームワークを構築すること。

提案手法

• 類似度スコア予測のための共有重みを有するシアンセスアーキテクチャを用いて、質問と候補回答のペアを処理する。
• 固定された語または文字のシーケンスの代わりに、文脈に適応した接続を持つノードとして、すべての可能な語と文字が表現された語彙ラティスを入力とする。
• 複数の粒度で同時にn-gram特徴を抽出できる動的カーネルサイズを有する畳み込み層を適用し、語と文字の両レベルで文脈に適応した特徴抽出を可能にする。
• 異なる文脈からの特徴を選択的に集約するゲート付きプーリング機構を採用し、ノイズ耐性を向上させるとともに特徴の判別力を強化する。
• 局所的およびグローバルな文レベルの意味を保持するように、ラテラル接続とプーリング操作を通じて多段階の表現を統合する。
• 対照的損失を用いてエンドツーエンドで学習し、関連する質問-回答ペア間のマッチングスコアを最適化する。ノイズを含むラティス入力に対する過学習を最小限に抑えることに注力する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークモデルは、語彙ラティスからの多段階の情報を効果的に活用して、中国語の質問応答におけるテキストマッチングを改善できるか？
• RQ2 従来の語レベルまたは文字レベルのモデルと比較して、ラティスベースのCNNアーキテクチャは、語の区切りの曖昧さと表現のばらつきをどのように処理できるか？
• RQ3 ラティスベースのモデリングは、文書ベースおよび知識ベースの中国語質問応答タスクにおいて、どの程度性能を向上させられるか？
• RQ4 標準のCNNやRNNと比較して、提案されたLCNモデルは、ノイズや曖昧なラティス入力に対してもロバスト性を維持できるか？
• RQ5 語彙モデルと言語モデルに基づくラティス構築戦略は、複数の区切りを組み合わせるハイブリッド手法や文字レベルの埋め込みと比較して、優れた性能を発揮できるか？

主な発見

• LCNsは、文書ベースおよび知識ベースの中国語質問応答ベンチマークにおいて、最先端のマッチングモデルおよび強力なCNNベースラインを著しく上回った。
• モデルは、ラティス入力からの多段階の特徴を効果的に捉えることで、多様な表現間でのより良いアライメントを実現した。
• 実験の結果、語彙ベースのラティス構築戦略が、複数の区切りを組み合わせる戦略や文字レベルの入力戦略を上回った。これは、構造化されたラティス表現の価値を示している。
• ゲート付きプーリング機構と動的畳み込みカーネルが、ノイズ耐性を向上させ、区切りエラーへの感受性を低減した。
• 事例研究では、語と文字間の共起パターンを利用することで、LCNsが「YongHu」を「user」として、「WangZhan」を「website」として正しく特定できることを示した。
• 語の重複がほとんどない状況でもLCNsは強力な性能を発揮し、表面的な語彙マッチングを超えた意味的類似性の推論能力を証明した。