[論文レビュー] Knowledge Enhanced Hybrid Neural Network for Text Matching

Yu Wu, Wei Wu+2 more|arXiv (Cornell University)|Nov 15, 2016

Topic Modeling被引用数 29

ひとこと要約

本稿では、知識ゲートを介して事前知識を統合することで、長文ペアにおける意味的マッチングを向上させる、マルチチャネルニューラルマッチングモデルである知識強化ハイブリッドニューラルネットワーク（KEHNN）を提案する。CNNとMLPを用いて単語レベル、順序構造、知識強化表現を統合することで、特に長文ペアにおいて最先端の性能を達成し、従来モデルと比較して長文QAペアで7.8%の精度向上を達成した。

ABSTRACT

Long text brings a big challenge to semantic matching due to their complicated semantic and syntactic structures. To tackle the challenge, we consider using prior knowledge to help identify useful information and filter out noise to matching in long text. To this end, we propose a knowledge enhanced hybrid neural network (KEHNN). The model fuses prior knowledge into word representations by knowledge gates and establishes three matching channels with words, sequential structures of sentences given by Gated Recurrent Units (GRU), and knowledge enhanced representations. The three channels are processed by a convolutional neural network to generate high level features for matching, and the features are synthesized as a matching score by a multilayer perceptron. The model extends the existing methods by conducting matching on words, local structures of sentences, and global context of sentences. Evaluation results from extensive experiments on public data sets for question answering and conversation show that KEHNN can significantly outperform the-state-of-the-art matching models and particularly improve the performance on pairs with long text.

研究の動機と目的

• 複雑な文法的・意味的構造に起因する長文ペアにおける意味的ギャップの課題に対処する。
• ノイズや構造的複雑さのため、従来モデルが性能を発揮できない長文におけるマッチング精度を向上させる。
• 外部の事前知識（例：トピック、エンティティ）をグローバルな文脈として活用し、ノイズをフィルタリングし、関連情報を強調する。
• 単語レベル、局所的順序構造、グローバルな知識強化文脈の3レベルでマッチングをモデル化するハイブリッドニューラルネットワークを設計する。
• 特に長文マッチングタスクにおいて、最先端モデルに対して一貫した優位性を示すことを実証する。

提案手法

• LDAから得られるトピックなどの事前知識を統合するための知識ゲートを導入し、不要な情報を動的にフィルタリング可能にする単語表現を実現する。
• 3つのマッチングチャネルを構築する：(1) 単語埋め込みを用いた単語レベル類似度、(2) 文レベル隠れ状態にBiGRUを適用した順序構造マッチング、(3) 知識拡張単語のBiGRU処理後の知識強化表現マッチング。
• 各類似度行列に対して畳み込みニューラルネットワーク（CNN）を適用し、マッチングチャネルから高レベルの構成的特徴を抽出する。
• 3つのチャネルのCNN処理済み特徴を、多層パーセプトロン（MLP）を用いて統合し、最終的なマッチングスコアを生成する。
• Twitterデータから微調整されたGloVeベクトルを初期値として、エンドツーエンドで単語埋め込みを学習し、主要な非線形ユニットでtanh活性化関数を用いる。
• 800万件のYahoo! Answers質問を対象に、Twitter LDAトピックモデリングにより事前知識を生成し、各トピックの上位20語の平均をとることでトピックベクトルを形成する。

実験結果

リサーチクエスチョン

• RQ1 従来モデルが困難とする長文ペアにおいて、事前知識の統合が意味的マッチング性能を向上させるか？
• RQ2 単語レベル、順序構造、知識強化の3つのマッチングチャネルの統合が、全体のマッチング精度に与える影響は何か？
• RQ3 知識ゲートの使用が、長文マッチングにおけるノイズ低減と関連する意味的信号の強化に効果を発揮するか？
• RQ4 モデル性能は、特に長文ペアにおいて、さまざまなテキスト長に応じてどのように変化するか？
• RQ5 QAや応答選択などの異なるNLPタスクにおいて、各マッチングチャネルの相対的寄与度は何か？

主な発見

• KEHNNは、応答選択およびQAタスクの両方で最先端モデルを大きく上回り、Ubuntu会話データセットでR@1が0.786、R@5が0.819を達成した。
• 長文ペア（長さ≥90）では74.6%の精度を達成し、MV-LSTMより1.3%、LSTMより4.6%の向上を示し、長入力に対する強いロバスト性を示した。
• QAデータセットでは、最も長いテキストペア（≥90）で79.1%の精度を達成し、MV-LSTM（69.4%）およびLSTM（71.8%）を9%以上上回った。
• 3つのチャネルをすべて含む完全なモデルは74.8%の精度を達成し、単一チャネルよりも顕著に優れており、会話データではチャネル2（順序構造）が最も効果的で、QAデータではチャネル3（知識強化）が最も効果的であった。
• すべての評価指標において、ベースラインモデルと比較して統計的に有意な改善（p ≤ 0.01）を示し、知識の統合とマルチチャネルマッチングの有効性を確認した。
• 自動生成されたトピック（LDAによる）からの事前知識は性能向上に寄与したが、会話タスクでは知識のノイズが知識強化チャネルの効果をわずかに低下させた。