[論文レビュー] Self-Attentive Model for Headline Generation

Daniil Gavrilov, Pavel Kalaidin+1 more|arXiv (Cornell University)|Jan 23, 2019

Topic Modeling参考文献 11被引用数 5

ひとこと要約

本稿では、バイトペア符号化（BPE）を用いたユニバーサルトランスフォーマー・アーキテクチャに基づく自己注意型ヘッドライン生成モデルを提案し、ニューヨーク・タイムズアノテートドコーパス（ROUGE-L F1: 24.84）で最先端の結果を達成するとともに、ロシア語ヘッドライン生成のためのRIAコーパスを導入し、そこでもROUGE-L F1: 36.81の結果を達成した。モデルは長距離依存関係を捉えるために非局所的アテンションを活用し、標準的なRNNベースのアプローチを凌駕する抽象的要約生成を実現した。

ABSTRACT

Headline generation is a special type of text summarization task. While the amount of available training data for this task is almost unlimited, it still remains challenging, as learning to generate headlines for news articles implies that the model has strong reasoning about natural language. To overcome this issue, we applied recent Universal Transformer architecture paired with byte-pair encoding technique and achieved new state-of-the-art results on the New York Times Annotated corpus with ROUGE-L F1-score 24.84 and ROUGE-2 F1-score 13.48. We also present the new RIA corpus and reach ROUGE-L F1-score 36.81 and ROUGE-2 F1-score 22.15 on it.

研究の動機と目的

• ユニバーサルトランスフォーマーが長距離依存関係をモデル化できる能力を活用することで、抽象的ヘッドライン生成を改善すること。
• ニュース記事の核心を捉える、要約的で的確なヘッドラインを生成する課題に対処すること。
• クロスリンガルベンチマークを可能にするために、新規のロシア語ヘッドラインコーパス（RIAコーパス）を導入し、その評価を実施すること。
• 非局所的アテンション機構が、ヘッドライン生成において局所的RNNベースのモデルを上回ることを示すこと。
• 自動評価指標（ROUGE）と人的評価の両方を用いて、モデルの性能を評価すること。

提案手法

• 長距離依存関係のより良いモデル化を可能にするために、隠れ表現に対して反復的リファインメントを適用する、変更されたトランスフォーマーであるユニバーサルトランスフォーマーを採用する。
• ソースおよびターゲットのシーケンスの両方のトークン化にバイトペア符号化（BPE）を用い、サブワードレベルの表現学習を向上させる。
• 一般化を向上させるとともに予測の過信を軽減するために、学習中にラベルスムージングを適用する。
• エンコーダ・デコーダフレームワークに自己注意メカニズムを採用し、ヘッドライン生成中に入力記事の関連部分に注目できるようにする。
• グリーディおよびビームサーチによるデコード戦略を用いて、トークン単位でヘッドラインを生成し、ビームサーチがより高品質な出力を得られることを確認した。
• ゴールスタンダードヘッドラインの尤度を最大化するように、最大尤度推定（MLE）を用いてモデルをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 標準的なRNNベースのモデルと比較して、ユニバーサルトランスフォーマー・アーキテクチャがヘッドライン生成性能を向上させることができるか？
• RQ2 非局所的アテンション機構の使用が、ニュース記事における長距離依存関係の捉え方を向上させるか？
• RQ3 新規に導入されたロシア語ヘッドラインコーパス（RIAコーパス）において、モデルは既存のベースラインと比較してどの程度の性能を示すか？
• RQ4 ラベルスムージングは、抽象的生成における一般化およびヘッドライン品質の向上にどの程度寄与するか？
• RQ5 人的評価において、モデルの出力は人間が書いたヘッドラインにどの程度近いか？

主な発見

• 提案されたユニバーサルトランスフォーマー・モデルは、ニューヨーク・タイムズアノテートドコーパスで、24.84のROUGE-L F1スコアという新たな最先端の結果を達成した。
• 新規に導入されたRIAコーパスでは、ROUGE-L F1スコアが36.81に達し、低リソースで非英語の文脈でも強力な性能を示した。
• 人的評価では、NYTコーパスでは42.6%、RIAコーパスでは45.6%のケースで、モデルのヘッドラインが人間が書いたものよりも好まれた。これは、非常に高い人間らしい質を示している。
• 両データセットにおいて、すべてのROUGE指標で、ベースラインのエンコーダ・デコーダおよび最初の文ベースのモデルを上回った。
• アブレーション実験の結果、ラベルスムージングが一般化を向上させることを裏付け、わずかに高いF1スコアが得られた。
• 自動指標のスコアは優れていたが、一部の生成ヘッドラインは人的なアノテーターから意味的整合性に欠けると判断された。これは、意味的整合性の面でさらなる改善の余地があることを示している。