[論文レビュー] Self-Supervised Learning for Contextualized Extractive Summarization

Hong Wang, Xin Wang+5 more|arXiv (Cornell University)|Jun 11, 2019

Topic Modeling参考文献 31被引用数 6

ひとこと要約

本論文は、人為的アノテーションを一切用いずに文書レベルの文脈を活用する、抽出的要約のための3つの自己教師あり事前学習タスク（Mask、Replace、Switch）を提案する。RawなCNN/DMアーティクルを用いて階層的モデルをこれらのタスクで事前学習することで、SOTAのROUGEスコア（ROUGE-L: 37.86）を達成し、スクラッチで学習するモデルよりも収束が速い。NeuSumなどの先行SOTAモデルを上回る性能を発揮する。

ABSTRACT

Existing models for extractive summarization are usually trained from scratch with a cross-entropy loss, which does not explicitly capture the global context at the document level. In this paper, we aim to improve this task by introducing three auxiliary pre-training tasks that learn to capture the document-level context in a self-supervised fashion. Experiments on the widely-used CNN/DM dataset validate the effectiveness of the proposed auxiliary tasks. Furthermore, we show that after pre-training, a clean model with simple building blocks is able to outperform previous state-of-the-art that are carefully designed.

研究の動機と目的

• スクラッチで学習する際によく見られる文書レベルの文脈を捉える能力の欠如を改善すること。
• 人為的ラベルなしで文書固有の構造を学習する自己教師あり事前学習タスクを開発すること。
• 事前学習を施した単純な階層的モデルが、複雑に設計された最新鋭のモデルを上回ることを実証すること。
• 文書レベルの文脈がモデル性能および学習効率に与える影響を調査すること。
• スイッチ確率といったハイパーパrameterの選択に、事前学習アプローチのロバストネスを評価すること。

提案手法

• Mask（候補プールから欠落した文を予測）、Replace（別の文書からの文置換を検出）、Switch（同じ文書内での文の入れ替えを検出）の3つの自己教師あり事前学習タスクを提案。
• 文のエンコーディングに双方向LSTMを用い、文書レベルの文脈を統合するための自己注意モジュールを備えた階層的モデルを採用。
• 抽出的要約の微調整の前に、RawなCNN/DMアーティクルを用いて3つのタスクでモデルを事前学習。
• 事前学習では学習率0.0001、微調整では0.00001を適用。マスキング・置換・スイッチの各確率を0.25に設定。
• 評価にはROUGEスコア（Rouge-1, Rouge-2, Rouge-L）を用い、統計的信頼性の確保のため±0.25の信頼区間を採用。
• アブレーションスタディとして、事前学習済みモデルの文エンコーダーのみを再利用し、スイッチ確率を変化させて感度を評価。

実験結果

リサーチクエスチョン

• RQ1 文書レベルの構造に対する自己教師あり事前学習が、抽出的要約の性能向上に寄与するか？
• RQ2 Mask、Replace、Switchタスクによる事前学習は、スクラッチ学習に比べて収束が速く、一般化性能が優れているか？
• RQ3 性能向上の要因として、文書レベルの文脈モデリングと文レベルの表現学習のどちらがより寄与しているか？
• RQ4 スイッチ確率を制御するハイパーパrameterの変更に、モデル性能がどれほど感受的か？
• RQ5 文書に配慮した自己教師ありタスクで事前学習された単純なモデルアーキテクチャが、複雑に設計された最新鋭モデルを上回るか？

主な発見

• Switchタスクが最も高いROUGE-Lスコア37.86を達成し、先行SOTAモデルNeuSum（37.61）を上回った。
• 3つの事前学習タスクすべてが基本モデルを上回る性能を示し、ROUGE-LスコアはMaskで37.65、Replaceで37.73、Switchで37.86を記録。
• Switch法では微調整段階でわずか9エポックで収束したのに対し、基本モデルはピーク性能に達するまでに24エポックを要した。
• 事前学習済みモデルの文エンコーダーのみを再利用しても、基本モデルを上回る性能を発揮した。これは、事前学習が文表現学習を強化していることを示している。
• ハイパーパrameterの変更に対してもモデルはロバストである：スイッチ確率0.15は0.25とほぼ同等の性能を示し、0.35に設定した場合もわずかに低下するにとどまった。これは0.15～0.25の範囲で安定していることを示している。
• 基本的な階層的アーキテクチャを用いても、文書に配慮した自己教師あり事前学習によりSOTAの結果を達成した。これは、自己教師あり事前学習が複雑なモデル設計の必要性を軽減することを示している。