[論文レビュー] Attention based Sentence Extraction from Scientific Articles using Pseudo-Labeled data

Parth Mehta, Gaurav Arora+1 more|arXiv (Cornell University)|Feb 13, 2018

Advanced Text Analysis Techniques参考文献 12被引用数 6

ひとこと要約

本稿では、ACLアーカイブから得た疑似ラベル付きデータを用いて、弱教師ありのアテンションベースの深層学習モデルを提案する。LSTMエンコーダーを用いてトピックモデル強化済みの文脈埋め込みを介して文の重要度とキーフレーズ検出を同時に学習することで、文書構造を保持し、手動ラベルなしで一貫性のある要約を生成する。ROUGEスコアでは、ROUGE-2、ROUGE-3、ROUGE-4の各指標で最先端の性能を達成した。

ABSTRACT

In this work, we present a weakly supervised sentence extraction technique for identifying important sentences in scientific papers that are worthy of inclusion in the abstract. We propose a new attention based deep learning architecture that jointly learns to identify important content, as well as the cue phrases that are indicative of summary worthy sentences. We propose a new context embedding technique for determining the focus of a given paper using topic models and use it jointly with an LSTM based sequence encoder to learn attention weights across the sentence words. We use a collection of articles publicly available through ACL anthology for our experiments. Our system achieves a performance that is better, in terms of several ROUGE metrics, as compared to several state of art extractive techniques. It also generates more coherent summaries and preserves the overall structure of the document.

研究の動機と目的

• 手動ラベルの必要なしに、科学論文の要約のための弱教師あり文抽出手法を開発すること。
• 要約にふさわしい文を特定するため、情報的コンテンツ表現とキーフレーズ検出を同時に学習すること。
• ACLアーカイブから入手可能な公開済みの疑似ラベル付きデータを用いて、科学論文の抽出要約性能を向上させること。
• 生成された要約において、元の文書の構造的整合性を維持すること。これは、人間の要約作成様式を模倣する。
• 文脈に配慮したアテンションメカニズムとトピックモデリングが、言語資源なしで要約品質を向上させることを示すこと。

提案手法

• 双方向LSTMベースの文エンコーダーが、単語埋め込みを処理して固定長の文表現を生成する。
• 文書レベルのトピックを抽出するためのラティント・ディリクレ・アロケーション（LDA）モデルを用い、論文全体の主題を捉える文脈埋め込みを形成する。
• アテンションメカニズムが文レベルの埋め込みと文脈埋め込みを融合し、動的重みを割り当てて、コンテンツとキーフレーズの両方を強調する。
• アテンション出力と文脈埋め込みを、二値分類器に供給し、文が要約にふさわしいかどうかを予測する。
• ACLアーカイブのゴールドスタンダード要約から疑似ラベル付きデータを生成し、手動ラベルなしで弱教師あり学習を可能にする。
• 事前学習済みのword2vecモデルをACLコーパス上で微調整した単語埋め込みを用いて、クロスエントロピー損失を用いてエンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 アテンションベースのモデルは、科学論文における文抽出のため、情報的コンテンツとキーフレーズ検出を同時に学習できるか？
• RQ2 トピックモデリングから得た文脈埋め込みを組み込むことで、抽出要約モデルの性能が向上するか？
• RQ3 ゴール要約から得た疑似ラベル付きデータを用いた弱教師ありアプローチが、既存の抽出手法を科学的テキストにおいて上回るか？
• RQ4 生成された要約において、モデルが元の文書の構造的整合性をどの程度維持しているか？
• RQ5 ROUGE-2、ROUGE-3、ROUGE-4スコアは、科学的要約における構造的・意味的品質の人的評価とどの程度相関しているか？

主な発見

• 提案手法は、ROUGE-2、ROUGE-3、ROUGE-4の各指標で、すべてのベースラインおよび最先端手法を上回った。特に、次に良い手法との比較でROUGE-2スコアに3.9%の絶対的向上を達成した。
• ROUGE-2スコアは0.360を達成し、Submodular（0.360）、ILP（0.350）、Neural（0.344）のベースラインを上回った。有意水準α=0.05で統計的に有意な差が認められた。
• ROUGE-3およびROUGE-4スコアは、ベースラインより顕著に高く、『in this paper we propose』などの構造的・フレーズ的キーフレーズの保存が良好であることを示した。
• モデルは『in this paper we propose』や『results show』といったキーフレーズを効果的に特定しており、要約にふさわしい内容の強力な指標であることが明らかになった。
• 生成された要約は、元の文書の論理的流れを維持しており、提案事項から始まり、実験的詳細およびシステム比較が続く構造的整合性を示した。
• ROUGE-1性能は最良のベースライン（Submodular）と同等であったが、フレーズレベルおよび構造的情報の捉え方において優れた性能を示した。