[論文レビュー] Semantic Sentence Matching with Densely-connected Recurrent and Co-attentive Information

Seonhoon Kim, In-Ho Kang+1 more|arXiv (Cornell University)|May 29, 2018

Topic Modeling参考文献 35被引用数 40

ひとこと要約

本論文は、DRCNと呼ばれる密結合型の再帰的および協注意型ネットワークを導入し、特徴量の成長を自己符号化器のボトルネックで制御して、外部知識を用いずに複数のベンチマークで最先端の結果を達成する。

ABSTRACT

Sentence matching is widely used in various natural language tasks such as natural language inference, paraphrase identification, and question answering. For these tasks, understanding logical and semantic relationship between two sentences is required but it is yet challenging. Although attention mechanism is useful to capture the semantic relationship and to properly align the elements of two sentences, previous methods of attention mechanism simply use a summation operation which does not retain original features enough. Inspired by DenseNet, a densely connected convolutional network, we propose a densely-connected co-attentive recurrent neural network, each layer of which uses concatenated information of attentive features as well as hidden features of all the preceding recurrent layers. It enables preserving the original and the co-attentive feature information from the bottommost word embedding layer to the uppermost recurrent layer. To alleviate the problem of an ever-increasing size of feature vectors due to dense concatenation operations, we also propose to use an autoencoder after dense concatenation. We evaluate our proposed architecture on highly competitive benchmark datasets related to sentence matching. Experimental results show that our architecture, which retains recurrent and attentive features, achieves state-of-the-art performances for most of the tasks.

研究の動機と目的

• 自然言語推論、言い換え識別、回答選択などのタスクにおいて、2文間の意味理解を改善する動機付け。
• 層間で再帰特徴と協注意特徴の両方を保持する、より深い密結合型再帰アーキテクチャを提案する。
• 連結による協注意情報を取り込み、2文間の豊かな相互作用を保持する。
• 自己符号化器のボトルネックを用いて特徴量の成長を制御し、情報を保持しつつ扱いやすいモデルサイズを維持する。

提案手法

• 学習可能な語嵌入と固定語嵌入、文字レベルのCNN特徴、完全一致フラグを連結して語表現を構築する。
• 前のすべての層の出力を結合する密結合を持つBiLSTMベースのRNN層を積み上げる。
• 文表現間のコサイン類似度に基づく注意機構で協注意コンテキストベクトルを計算し、密結合の連結で融合する。
• 密結合の再帰特徴と協注意特徴に対して段階的な最大プーリングを適用し、固定長の文表現を得る。
• 文表現を相互作用 (p, q, p+q, p−q, |p−q|) と組み合わせ、分類のために2つの全結合層を通し、クロスエントロピーと自己符号化再構成損失で学習する。
• 密集特徴集合を圧縮するボトルネックとして自己符号化器を使用し、学習を正則化する。

実験結果

リサーチクエスチョン

• RQ1 密結合の再帰・協注意情報は、より深いアーキテクチャに比べてどのように意味的文の照合を改善できるか。
• RQ2 密結合による原始特徴と協注意特徴の両方を保持することは、深いRNNにおける残差接続よりも性能を上回るか。
• RQ3 自己符号化器のボトルネックは、複数の文ペア課題で性能を維持または向上させつつ、特徴量の成長を効果的に規制できるか。
• RQ4 学習可能な語嵌入と固定語嵌入を混在させることが全体の性能に与える影響は何か。

主な発見

• DRCNは外部の文脈化語表現を用いず、SNLIとMultiNLIで競争力のあるまたは最先端の精度を達成する。
• 報告結果においてアンサンブルDRCNはSNLIで90.1%を達成し、外部知識を使わずにいくつかのベースラインを上回る。
• DRCNはQuoraのパラフレーズ識別で高い成果を示す（MAP 0.804, MRR 0.862; アンサンブル 0.830, 0.908）、TrecQAとSelQAの回答文選択で新しい最先端を樹立。
• アブレーション研究は、密結合と注意情報が性能にとって重要であり、注意機構が意味的照合に大きく寄与することを示している。
• ELMoや文脈化埋め込みの導入はMultiNLIでさらに性能を向上させ、DRCNとの補完的な利得を示している。