[論文レビュー] Matching Long Text Documents via Graph Convolutional Networks

Bang Liu, Ting Zhang+4 more|arXiv (Cornell University)|Feb 21, 2018

Topic Modeling参考文献 21被引用数 24

ひとこと要約

本論文は、概念間の意味的相互作用をモデル化するための概念相互作用グラフを用いて、長文ドキュメント同士の一致を図るためのグラフ畳み込みネットワーク手法を提案する。シアンセスGCNアーキテクチャは、グラフ畳み込みを通じて文書表現を学習し、2つのテンセントが構築したニュース記事データセットにおけるイベントアライメントタスクで、最先端の手法を著しく上回る性能を発揮する。

ABSTRACT

Identifying the relationship between two text objects is a core research problem underlying many natural language processing tasks. A wide range of deep learning schemes have been proposed for text matching, mainly focusing on sentence matching, question answering or query document matching. We point out that existing approaches do not perform well at matching long documents, which is critical, for example, to AI-based news article understanding and event or story formation. The reason is that these methods either omit or fail to fully utilize complicated semantic structures in long documents. In this paper, we propose a graph approach to text matching, especially targeting long document matching, such as identifying whether two news articles report the same event in the real world, possibly with different narratives. We propose the Concept Interaction Graph to yield a graph representation for a document, with vertices representing different concepts, each being one or a group of coherent keywords in the document, and with edges representing the interactions between different concepts, connected by sentences in the document. Based on the graph representation of document pairs, we further propose a Siamese Encoded Graph Convolutional Network that learns vertex representations through a Siamese neural network and aggregates the vertex features though Graph Convolutional Networks to generate the matching result. Extensive evaluation of the proposed approach based on two labeled news article datasets created at Tencent for its intelligent news products show that the proposed graph approach to long document matching significantly outperforms a wide range of state-of-the-art methods.

研究の動機と目的

• 同じ現実世界の出来事だが異なる物語を述べる長文のニュース記事を一致させる課題に対処すること。
• 長文における複雑な意味的構造を捉えられない既存のディープラーニング手法の限界を克服すること。
• 長文内の文間を貫くキーコンセプト間の相互作用をモデル化するグラフベースの表現を構築すること。
• 一致のための文書レベル表現を効果的に学習・比較できるシアンセスGCNフレームワークを設計すること。
• 最先端のアプローチと比較して、長文ドキュメント一致タスクにおける優れた性能を示すこと。

提案手法

• 頂点が一貫したキーワードグループ（コンセプト）を表し、共有文を介してコンセプト間の意味的相互作用を表すエッジを持つ、概念相互作用グラフを構築する。
• ペアドキュメントを共有埋め込み空間に符号化し、比較を可能にするためのシアンセスニューラルネットワークアーキテクチャを用いる。
• グラフ畳み込みネットワーク（GCNs）を用いて、グラフ構造に沿ったメッセージパッシングにより頂点特徴を集約・更新する。
• 学習されたグラフ表現を活用して、ドキュメントペア間の最終的な一致スコアを出力する。
• イベントの等価性がアノテートされたニュース記事ペアを用いて、エンドツーエンドのモデルを学習する。
• グラフエッジの構築を通じて注意メカニズムを暗黙的に活用し、顕著なコンセプト相互作用を強調する。

実験結果

リサーチクエスチョン

• RQ1 グラフベースの表現は、一致タスクにおける長文の複雑な意味的構造を効果的にモデル化できるか？
• RQ2 従来のシーケンスベースまたはアテンションベースのモデルと比較して、提案された概念相互作用グラフは、長距離依存関係をどの程度うまく捉えられるか？
• RQ3 非グラフベースのベースラインと比較して、シアンセスGCNアーキテクチャは長文ドキュメントペアの一致性能をどの程度向上させるか？
• RQ4 物語が異なっていても出来事が同一であるような実世界のニュース記事一致において、グラフベースのアプローチはどの程度一般化できるか？
• RQ5 グラフ畳み込みは、一致のための頑健な文書レベル表現を学習するためにどの程度寄与しているか？

主な発見

• 提案されたグラフベースの手法は、テンセントが提供した2つの大規模で実世界のニュース記事データセットにおいて、広範な最先端のモデルを著しく上回る。
• 異なる物語を述べる長文のニュース記事が同じ根幹の出来事を報じているかどうかを識別する能力において、優れた性能を発揮する。
• 概念相互作用グラフの使用により、従来のシーケンスベースやアテンションベースのモデルと比較して、長文における意味的相互作用のモデル化がより優れている。
• シアンセスGCNアーキテクチャは、識別的な表現を効果的に学習し、一致精度を向上させる。
• 広範なアブレーションスタディにより、グラフ構造とGCN集約の重要性が確認された。
• 実世界のニュースデータにおいて強い一般化性能を示し、AI駆動のニュース理解システムにおける実用的妥当性を強調している。