[論文レビュー] Contrastive Triple Extraction with Generative Transformer

Hongbin Ye, Ningyu Zhang+5 more|arXiv (Cornell University)|Sep 14, 2020

Topic Modeling被引用数 25

ひとこと要約

本稿では、生成型Transformerを用いた対照的三重抽出（CGT）という、オープン情報抽出における忠実性および長文処理性能を向上させる新規なエンドツーエンドのシーケンス・ツー・シーケンスモデルを提案する。三重対照学習、バッチ単位の動的アテンションマスキング、三重単位のキャリブレーションを統合することで、CGTはNYT、WebNLG、MIEのデータセットにおいて強力なベースラインを上回り、特にRNNベースのモデルが失敗する長文において顕著な優位性を示す。

ABSTRACT

Triple extraction is an essential task in information extraction for natural language processing and knowledge graph construction. In this paper, we revisit the end-to-end triple extraction task for sequence generation. Since generative triple extraction may struggle to capture long-term dependencies and generate unfaithful triples, we introduce a novel model, contrastive triple extraction with a generative transformer. Specifically, we introduce a single shared transformer module for encoder-decoder-based generation. To generate faithful results, we propose a novel triplet contrastive training object. Moreover, we introduce two mechanisms to further improve model performance (i.e., batch-wise dynamic attention-masking and triple-wise calibration). Experimental results on three datasets (i.e., NYT, WebNLG, and MIE) show that our approach achieves better performance than that of baselines.

研究の動機と目的

• 既存のエンドツーエンド三重抽出モデルの限界、特に長期依存関係の捉えにくさと不正確な三重生成の問題に対処すること。
• 正例（正解）と不正例（破損）の三重インスタンスを用いた新しい対照学習目的関数を導入することで、生成された三重の忠実性を向上させること。
• 動的アテンションマスキングを用いた生成と対照学習の目的関数の共同最適化により、モデル性能を向上させること。
• 推論時に誤った三重や幻覚的な三重を低減するため、三重単位のキャリブレーション機構を導入すること。
• さまざまな文長を有するベンチマークデータセット上で、提案フレームワークの有効性を示すこと。

提案手法

• 入力シーケンスとターゲットシーケンスを特別なトークンで区切って連結し、共通のTransformerエンコーダ・デコーダアーキテクチャを用いる。
• 追加パラメータを必要とせず、エンコーダとデコーダの表現を区別するための部分的因果マスキングを適用する。
• 正解三重を正例、ランダムに破損させた三重を負例として扱う三重対照学習目的関数を導入する。
• バッチ単位の動的アテンションマスキングにより、生成と対照学習の目的関数を同時に最適化できるように、動的に訓練ターゲットを選択する。
• 推論時に、信頼度が低いまたは一貫性のない三重をフィルタリングする三重単位のキャリブレーションアルゴリズムを導入する。
• 追加パラメータをベースモデル以外に必要とせず、事前学習済みT5スタイルのモデルをエンドツーエンドで微調整する。

実験結果

リサーチクエスチョン

• RQ1 対照学習は、シーケンス・ツー・シーケンス三重抽出における生成三重の忠実性を向上させ得るか？
• RQ2 提案されたCGTモデルは、長文入力シーケンスにおいてRNNベースのモデルよりも優れた長期依存関係の捉え方を示せるか？
• RQ3 動的アテンションマスキングによる共同最適化は、生成と対照学習の両目的関数の性能向上に寄与するか？
• RQ4 三重単位のキャリブレーションは、推論時に幻覚的または誤った三重を低減するのに効果的か？
• RQ5 提案されたアーキテクチャは、長文や複雑な文を含む多様なベンチマークデータセットにおいて、強力なベースラインを上回るか？

主な発見

• CGTは、NYT、WebNLG、MIEの3つのベンチマークデータセットで最先端の性能を達成し、CopyRE や CopyMTL といった強力なベースラインを上回る。
• 長文（長さ > 60）においてもCGTは優れた性能を維持するが、CopyRE は顕著な性能低下を示し、より優れた長文コンテキストモデリング能力を示している。
• アブレーションスタディにより、三重対照学習と動的アテンションマスキングの両方が性能向上に顕著な寄与をしていることが確認された。
• ランダム初期化で学習したCGT(Random)ですら、生成ベースラインを上回る性能を示しており、性能向上は事前学習に依存するのではなく、アーキテクチャと学習目的関数に起因していることが示唆される。
• 誤差解析から、主な失敗要因は曖昧な文脈、誤ったエンティティ境界、およびノイズの多いデータセット（特にWebNLG）であることが判明し、今後の研究の方向性が示された。
• 対照的学習目的関数とキャリブレーションステップのおかげで、複雑または重複するエンティティが存在する場合でも、正しい関係を生成する強力なロバストネスを示している。