[論文レビュー] Controllable Abstractive Summarization

Angela Fan, David Grangier+1 more|arXiv (Cornell University)|Nov 14, 2017

Topic Modeling参考文献 31被引用数 26

ひとこと要約

本稿では、要約長、ターゲットエンティティ、ライティングスタイル、ドキュメントの残りのセクションといった高レベルな好みをユーザーが指定できる制御可能で抽象的要約モデルを提案する。長さ、エンティティ、スタイル、ドキュメント位置のための特別トークンを用いて離散的制御変数で条件づけたシーケンス・トゥ・シーケンスモデルを実装することで、個人化された高品質な要約を生成する。このモデルは、CNN-DailyMailで最先端のシステムを上回り、盲検評価において40.38 F1-ROUGE1および59%の人間の好みを達成した。

ABSTRACT

Current models for document summarization disregard user preferences such as the desired length, style, the entities that the user might be interested in, or how much of the document the user has already read. We present a neural summarization model with a simple but effective mechanism to enable users to specify these high level attributes in order to control the shape of the final summaries to better suit their needs. With user input, our system can produce high quality summaries that follow user preferences. Without user input, we set the control variables automatically. On the full text CNN-Dailymail dataset, we outperform state of the art abstractive systems (both in terms of F1-ROUGE1 40.38 vs. 39.53 and human evaluation).

研究の動機と目的

• 既存の抽象的要約モデルが、望ましい長さ、ターゲットエンティティ、ライティングスタイル、または未読のドキュメント断片といった好みを無視しているという点を是正すること。
• 複雑なアーキテクチャの変更を要せず、ユーザー指定の制御変数に基づいてニューラル要約を条件づける、シンプルで効果的なメカニズムを設計すること。
• 制御変数がパーソナライズを可能にするだけでなく、オラクル値を用いて自動的に設定された場合でも要約品質の向上をもたらすことを示すこと。
• CNN/DailyMailベンチマークを用いた自動指標（ROUGE）および人間評価を通じて、モデルの優位性を検証すること。

提案手法

• エンコーダーとデコーダーの両方でゲート付き線形ユニット（GLU）とマルチホップアテンションを用いた畳み込み的シーケンス・トゥ・シーケンスアーキテクチャを採用する。
• 生成されたコンテンツを追跡し、繰り返しを低減するためにデコーダー内にイントラアテンションを組み込む。
• 制御変数は特別トークンとして入力の先頭に付加される：長さのボックス、匿名化されたエンティティ、ソーススタイルマーカー（例：CNN や Daily Mail）、ドキュメント位置インジケータ。
• バイトペアエンコーディング（BPE）によるサブワードトークン化と、エンコーダーとデコーダーの埋め込み間の重み共有により、ポ인터ネットワークを用いずに希少エンティティの取り扱いを改善する。
• 学習時には真値の制御変数が提供されるが、推論時にはユーザーがこれらのトークンを用いて望ましい値を指定可能である。
• モデルは最大尤度推定で学習され、一般化性能を向上させるためにオラクル制御値を用いてファインチューニングされる。

実験結果

リサーチクエスチョン

• RQ1 長さ、エンティティ、スタイル、ドキュメントセクションといったユーザー指定の属性に基づいて、要約をパーソナライズするためのシンプルで統一的な制御メカニズムは、実際に有効に機能するか？
• RQ2 制御変数でモデルを条件づけることで、それらの変数がオラクル値を用いて自動的に設定された場合でも、要約品質が向上するか？
• RQ3 ROUGEと人間の好みの観点から、本モデルは最先端の抽象的要約モデルと比べてどの程度優れているか？
• RQ4 自動指標（例：ROUGE）と人間の判断との相関度は、制御された要約設定においてどの程度高いか？

主な発見

• 全テキストのCNN-DailyMailデータセットにおいて、本モデルは40.38 F1-ROUGE1を達成し、以前の最先端モデル（39.53 F1-ROUGE1）を上回った。
• エンティティを匿名化した設定において、本モデルは以前のSOTAより0.76ポイントのF1-ROUGE1向上を達成した。
• 500件のテスト記事について2,500件の盲検人間評価を実施した結果、59%の評価が本モデルの要約をSee et al. (2017) の要約よりも好んだ。
• 制御変数は非常に効果的である：長さマーカー・トークンを変更することで要約長を正確に制御でき、真値の制御マーカーを用いることで要約品質が著しく向上した。
• ROUGEスコアと人間の好みの間には強い相関が示され、5人の評価者のうち少なくとも4人が同意したケースの2/3において一致した。
• ユーザー入力なしに固定されたオラクルチューニング値に設定された制御変数であっても、本モデルはSOTAシステムを上回った。これは、制御メカニズムが学習を向上させることを証明している。