[論文レビュー] Match-Ignition: Plugging PageRank into Transformer for Long-form Text Matching

Liang Pang, Yanyan Lan+1 more|arXiv (Cornell University)|Jan 16, 2021

Topic Modeling参考文献 33被引用数 9

ひとこと要約

Match-Ignition は、トランスフォーマー構造に PageRank を統合することで、無関係な文や語をフィルタリングする階層的ノイズフィルタリングフレームワークを導入し、長文テキストマッチングの性能を向上させます。類似度スコアと注目スコアをもとに文グラフと語グラフを構築し、PageRank を用いて重要コンテンツを特定することで、長文マッチングタスクにおいて最先端の性能と高い効率性を達成しています。

ABSTRACT

Neural text matching models have been widely used in community question answering, information retrieval, and dialogue. However, these models designed for short texts cannot well address the long-form text matching problem, because there are many contexts in long-form texts can not be directly aligned with each other, and it is difficult for existing models to capture the key matching signals from such noisy data. Besides, these models are computationally expensive for simply use all textual data indiscriminately. To tackle the effectiveness and efficiency problem, we propose a novel hierarchical noise filtering model, namely Match-Ignition. The main idea is to plug the well-known PageRank algorithm into the Transformer, to identify and filter both sentence and word level noisy information in the matching process. Noisy sentences are usually easy to detect because previous work has shown that their similarity can be explicitly evaluated by the word overlapping, so we directly use PageRank to filter such information based on a sentence similarity graph. Unlike sentences, words rely on their contexts to express concrete meanings, so we propose to jointly learn the filtering and matching process, to well capture the critical word-level matching signals. Specifically, a word graph is first built based on the attention scores in each self-attention block of Transformer, and key words are then selected by applying PageRank on this graph. In this way, noisy words will be filtered out layer by layer in the matching process. Experimental results show that Match-Ignition outperforms both SOTA short text matching models and recent long-form text matching models. We also conduct detailed analysis to show that Match-Ignition efficiently captures important sentences and words, to facilitate the long-form text matching process.

研究の動機と目的

• 短いテキスト向けに設計された既存のモデルが、疎なアライメント信号と高い計算コストのため、ノイズが多く長文のセマンティックマッチングタスクでは失敗するという課題に対処すること。
• 無関係な文レベルおよび語レベルのコンテンツを特定・フィルタリングすることで、長文テキストマッチングにおける効果性と効率性を向上させること。
• トランスフォーマー基盤アーキテクチャ内で、PageRank アルゴリズムを用いて、文および語レベルのノイズを体系的に同定・抑制すること。
• グラフベースのランク付けにより、構造的および意味的に重要な要素に注目することで、長文におけるグローバルな意味的意味をより良く捉えること。
• 知能的なフィルタリングを通じて計算負荷を低減しつつ、短文モデルおよび最近の長文マッチングモデルを上回る優れた性能を達成すること。

提案手法

• 文同士の語彙的オーバーラップ（例：ジャカード類似度）を用いて文類似度グラフを構築し、PageRank を適用して重要度が低い文を同定・フィルタリングする。
• トランスフォーマーの各自己注意ブロック内で、注目スコアをエッジ重みとして用いて語レベルのグラフを構築し、各レイヤーごとに動的グラフを形成する。
• 語グラフに PageRank を適用して各語の重要度スコアを計算し、レイヤーを跨いで重要度が低い語を段階的にフィルタリング可能にする。
• フィルタリングプロセスをトランスフォーマーエンコーダーに統合し、文レベルのフィルタリングを語レベルのフィルタリングの前に適用することで、計算負荷を低減する。
• 各レイヤーでの語のフィルタリング割合を制御する学習可能な削減率（α）を用い、α=10% が最適な性能を示す。
• フィルタリング機構を標準の自己注意メカニズムと統合し、エンドツーエンドでフィルタリング信号とマッチング信号を同時に学習可能にする。

Figure 1. The top example is a short-form text matching for the paraphrasing identification, and the lines indicate the alignments between words from two sentences. The bottom example is a long-form text matching for the redundancy news identification, and the highlights indicate the important match

実験結果

リサーチクエスチョン

• RQ1 文類似度グラフに基づいて、PageRank が長文テキストマッチングにおけるノイズの多い文を効果的に同定・フィルタリングできるか？
• RQ2 注目スコアから構築した動的語グラフに PageRank を適用することで、レイヤー単位で語レベルのノイズを効果的にフィルタリングできるか？
• RQ3 文と語の階層的フィルタリングが、標準のトランスフォーマーと比較して長文テキストマッチングタスクの性能を向上させるか？
• RQ4 提案されたフィルタリング機構は、特に推論速度と学習時間の観点から、計算効率にどのように影響を与えるか？
• RQ5 長文テキストマッチングの文脈において、フィルタリング率と性能の最適なバランスは何か？

主な発見

• Match-Ignition は、7つの公開長文テキストマッチングデータセットで最先端の性能を達成し、SOTA の短文マッチングモデルおよび最近の長文マッチングモデルを上回っています。
• CNSE および CNSS データセットにおいて、α=10% の語削減率が最良の性能を示しており、精度を損なわず最適なノイズフィルタリングが実現していることが示された。
• α=20% の場合、学習時では 1.6 倍、推論時では 2 倍の高速化が α=0% と比較して達成され、顕著な効率性の向上が確認された。
• PageRank を用いた語のフィルタリングは、ランダム選択や埋め込みノルムベースの戦略を上回り、注目スコア単体よりも優れた性能を示しており、グラフ伝播の価値が裏付けられた。
• 可視化結果から、イベントの場所や政策名といったキーワードが、人間による関連性アノテーションと整合する高い重要度スコアを獲得していることが確認された。
• 特別トークン [CLS] および [SEP] が非常に重要であると同定され、長文テキストマッチングにおけるグローバルおよび構造的マーカーとしての役割が裏付けられた。

Figure 2. The overall architecture of Match-Ignition. (a) represents the sentence-level filter, (b) represents the outputs of the sentence-level filter, and (c) represents the word-level filter.