[論文レビュー] Importance-Aware Learning for Neural Headline Editing

Qingyang Wu, Lei Li+3 more|arXiv (Cornell University)|Nov 25, 2019

Topic Modeling参考文献 16被引用数 7

ひとこと要約

本稿では、事前学習、要約生成への適応、および自己重要度に配慮した（SIA）損失関数を活用することで、低リソース環境下での要約品質を向上させるニューラル要約編集モデルを提案する。容易に学習可能な例を低重み化し、より難しい編集に注目することで、繰り返しを減らし、ベースライン手法と比較してより洗練され、人間が好む要約を生成する。

ABSTRACT

Many social media news writers are not professionally trained. Therefore, social media platforms have to hire professional editors to adjust amateur headlines to attract more readers. We propose to automate this headline editing process through neural network models to provide more immediate writing support for these social media news writers. To train such a neural headline editing model, we collected a dataset which contains articles with original headlines and professionally edited headlines. However, it is expensive to collect a large number of professionally edited headlines. To solve this low-resource problem, we design an encoder-decoder model which leverages large scale pre-trained language models. We further improve the pre-trained model's quality by introducing a headline generation task as an intermediate task before the headline editing task. Also, we propose Self Importance-Aware (SIA) loss to address the different levels of editing in the dataset by down-weighting the importance of easily classified tokens and sentences. With the help of Pre-training, Adaptation, and SIA, the model learns to generate headlines in the professional editor's style. Experimental results show that our method significantly improves the quality of headline editing comparing against previous methods.

研究の動機と目的

• 低リソース環境下での要約編集の課題に対処するため、プロフェッショナルが編集した中国語要約の高品質データセットを構築すること。
• 事前学習言語モデルとマルチステージ学習を用いて、低リソース環境下での要約生成品質を向上させること。
• より難しい例に優先的に学習を向ける新しい損失関数を導入することで、生成された要約の繰り返しや一般的なパターンを低減すること。
• 実世界のソーシャルメディア応用に適した、プロフェッショナルエディタのスタイル的ニュアンスを学習するモデルを開発すること。

提案手法

• モデルは、中国語BERTをエンコーダーとし、カスタム中国語GPTをデコーダーとするTransformerベースのエンコーダーデコーダー構造を採用する。
• 3段階のトレーニングパイプラインを採用：大規模な中国語コーパスでの事前学習、要約生成タスクへの適応、PHEDデータセットでのファインチューニング。
• 自己重要度に配慮した（SIA）損失は、頻繁に編集されるトークンや文に低い重要度を割り当てることで、容易な例を動的に低重み化する。
• SIA損失関数は、サンプルの難易度に基づいて重みが学習される加重交差エントロピー損失として定義され、難易度の高い例に高い重みが割り当てられる。
• PHEDデータセットでファインチューニングを行い、ソーシャルメディア記事から得られた20,994組のプロフェッショナルが編集した要約ペアを含む。
• 要約生成を補助タスクとして用いることで、モデルのインダクティブバイアスを編集タスクに一致させ、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 小規模でプロフェッショナルがキュレートしたデータセットにファインチューニングされた事前学習シーケンス・ツー・シーケンスモデルは、高品質な要約を効果的に生成できるか？
• RQ2 中間段階の要約生成適応タスクを導入することで、要約編集タスクの性能がどのように向上するか？
• RQ3 自己重要度に配慮した（SIA）損失は、低リソース環境下での要約編集において、繰り返しをどれほど低減し、生成品質を向上させるか？
• RQ4 SIA損失は、より難しい例に学習を優先させることで、困難な編集タスクにおいてより良い性能を発揮するか？
• RQ5 実世界の好み設定において、モデルの性能は人間が書いた元の要約と比較してどの程度優れているか？

主な発見

• SIA損失を適用した提案モデルは、SIAを適用しないベースラインモデルと比較して、人間の好み度が17.4%高い結果を示した。
• 差分のある要約のみを比較した際、人間評価者はSIAモデルを非SIAモデルよりも23.0%高い割合で好んだ。これはSIAが繰り返しを効果的に低減していることを確認する。
• 人間評価において、SIAモデルが元の著者による要約よりも107%も好まれる結果を示し、プロフェッショナル編集のスタイルに強く一致していることが示された。
• 自動指標（BLEU-4、ROUGE-L）と人間評価の両方で、SIAモデルが一般的なパターンや繰り返しを低減していることが確認された。
• 適応段階が性能向上に顕著に寄与し、完全なモデル（PAS）は元の要約ベースラインと比較して人間の好み度で57.4%高い性能を示した。
• 20,994件のサンプルという小規模なデータセットであっても、3段階のトレーニングパイプライン（事前学習、適応、SIAファインチューニング）により、要約編集品質で最先端の結果を達成した。