[論文レビュー] Point-less: More Abstractive Summarization with Pointer-Generator Networks

Freek Boutkan, Jorn Ranzijn+2 more|arXiv (Cornell University)|Apr 18, 2019

Topic Modeling参考文献 23被引用数 7

ひとこと要約

本稿では、ROUGEスコアを維持したまま要約の抽象度を向上させるために、Pointer-Generatorネットワークに変更を加える手法を提案する。マルチヘッドアテンション、ポインタドロップアウト、および2つの新規損失関数（ワードプライアロスとポインタ正則化）を導入し、新規文が12.5%増加し、N-gramの新規性が著しく向上したが、ROUGEスコアはわずかに低下した。

ABSTRACT

The Pointer-Generator architecture has shown to be a big improvement for abstractive summarization seq2seq models. However, the summaries produced by this model are largely extractive as over 30% of the generated sentences are copied from the source text. This work proposes a multihead attention mechanism, pointer dropout, and two new loss functions to promote more abstractive summaries while maintaining similar ROUGE scores. Both the multihead attention and dropout do not improve N-gram novelty, however, the dropout acts as a regularizer which improves the ROUGE score. The new loss function achieves significantly higher novel N-grams and sentences, at the cost of a slightly lower ROUGE score.

研究の動機と目的

• Pointer-Generatorモデルにおける抽出的コピーへの過剰依存を是正し、要約生成の質を向上させること。
• 自然な表現と事実の整合性を損なわず、新規で再構成された内容を生成できる能力を向上させること。
• ROUGEスコアを維持しつつ、生成要約における新規N-gramおよび新規文の数を増加させること。
• ROUGEが要約生成の評価指標としての限界を検証し、代替指標を提案すること。
• 教師強制のスケジューリングや正則化などの訓練時介入を検討し、訓練と推論の分布ギャップを低減すること。

提案手法

• ポoiningと生成の両方のための多様なアテンションパターンを学習できる、ソーステキスト上でのマルチヘッドアテンションを導入する。
• ポインタ機構にドロップアウトを適用し、コピーの過剰依存を軽減し、正則化を図る。
• ソースに存在しない語の生成を促進するためのワードプライアロスを設計する。
• 語の頻度の事前知識に基づいたポインタ正則化損失を実装し、希少語や低頻度語の過剰コピーを抑制する。
• これらの手法を標準的なPointer-Generatorフレームワークと統合し、エンドツーエンドで学習可能なモデルを構築する。
• 教師強制をスケジューリングすることで、訓練中に真の出力を徐々に減少させ、訓練と推論の挙動を一致させる。

実験結果

リサーチクエスチョン

• RQ1 ソーステキスト上にマルチヘッドアテンションを導入することで、ROUGEスコアを劣化させることなく、Pointer-Generatorモデルの抽象度を向上させられるか？
• RQ2 ポインタ機構にドロップアウトを適用することで、コピーへの過剰依存が軽減され、新規N-gramの生成が増加するか？
• RQ3 新規損失関数（ワードプライアロスとポインタ正則化）により、新規文および新規N-gramの数が著しく増加し、要約の質を維持できるか？
• RQ4 提案手法が、seq2seqモデルにおける訓練と推論の挙動の乖離をどの程度軽減できるか？
• RQ5 新しい損失関数は、カバレッジメカニズムなどの既存のコンponentsとどのように相互作用するか？また、過剰生成を悪化させるか？

主な発見

• ワードプライアロスにより、ベースラインモデルと比較して新規文の数が12.5%増加した。
• ポインタ正則化損失により、新規N-gramの生成が著しく向上したが、ROUGEスコアはわずかに低下した。
• ポインタドロップアウトにより、ポインタ機構への過剰依存が軽減され、ROUGEスコアが向上し、新規性についてもわずかな向上が得られた。これは当初の予想とは逆であった。
• マルチヘッドアテンションはROUGEスコアや新規性の向上に寄与しなかったため、この特定のアーキテクチャでは限定的な利点にとどまった。
• VERT指標はROUGEと完全に相関しており、意味的品質や抽象度に関する新たな知見を提供しなかった。
• 新規N-gramが増加したにもかかわらず、要約長は安定したままであり、新規語が既存の内容に置き換わったことを示しており、拡張ではなく再表現であるという主張を裏付けた。