[論文レビュー] Headline Generation: Learning from Decomposed Document Titles.

Oleg Vasilyev, Tom Grek+1 more|arXiv (Cornell University)|Apr 17, 2019

Topic Modeling参考文献 14被引用数 9

ひとこと要約

本稿では、150万件のドキュメント-タイトルペアを用いて微分解可能なタイトルを持つ深層ニューラルネットワークで訓練された、新しい見出し生成手法を提案する。モデルは二重盲検評価において、人間が作成した見出しと同等またはそれ以上の品質であると人間が評価した見出しを生成し、自動見出し生成分野における優れたパフォーマンスを示している。

ABSTRACT

We propose a novel method for generating titles for unstructured text documents. We reframe the problem as a sequential question-answering task. A deep neural network is trained on document-title pairs with decomposable titles, meaning that the vocabulary of the title is a subset of the vocabulary of the document. To train the model we use a corpus of millions of publicly available document-title pairs: news articles and headlines. We present the results of a randomized double-blind trial in which subjects were unaware of which titles were human or machine-generated. When trained on approximately 1.5 million news articles, the model generates headlines that humans judge to be as good or better than the original human-written headlines in the majority of cases.

研究の動機と目的

• 見出し生成を段階的質疑応答タスクとして再定式化することで、自動見出し生成の性能を向上させること。
• 大規模かつ公開可能なドキュメント-タイトルペア（微分解可能な語彙を有する）を活用して学習すること。
• 人間による評価で人間が作成した見出しと同等または優れた見出しを生成できるモデルを開発すること。
• 二重盲検人間評価環境でモデルが生成した見出しを評価することで、偏りのない評価を確保すること。

提案手法

• モデルは、ドキュメントの文脈的理解に基づいて、見出しの各単語を逐次予測する質疑応答タスクとして見出し生成を扱う。
• 深層ニューラルネットワークは、タイトルの語彙がドキュメントの語彙の部分集合である（微分解可能なタイトルである）100万件以上のドキュメント-タイトルペアで訓練される。
• 学習コーパスは、公開可能なニュース記事とその対応する見出しから構成され、大規模な事前学習が可能である。
• モデルは、関連するドキュメントコンテンツと見出し生成ステップをアライメントするためにアテンションメカニズムを用いる。
• モデルのアーキテクチャは、ドキュメントの核心的内容を反映した、流暢で簡潔かつ情報豊富な見出しを生成するように最適化されている。
• 評価は、ドキュメントの出典が分かっていない状態で人間のアノテーターが見出しの質を評価するランダム化された二重盲検試験によって実施される。

実験結果

リサーチクエスチョン

• RQ1 微分解可能なドキュメント-タイトルペアで訓練されたニューラルネットワークは、人間が作成した見出しと同等またはそれ以上の品質とされる見出しを生成できるか？
• RQ2 段階的質疑応答フレームワークは、標準的なシーケンス-トゥ-シーケンスモデルと比較して、見出し生成にどのように寄与するか？
• RQ3 微分解可能なタイトルの監視のみを用いて、多様なニュース記事にわたる高品質な見出しを生成する能力にどの程度一般化できるか？
• RQ4 二重盲検人間評価環境においても、モデルのパフォーマンスは安定しているか？

主な発見

• 人間による評価において、モデルが生成した見出しは大多数のケースで人間が作成した見出しと同等またはそれ以上の品質と評価された。
• ランダム化された二重盲検試験において、人間の評価者たちは機械生成見出しと人間生成見出しを一貫して区別できなかった。
• 約150万件のニュース記事とその対応する見出しで学習させた場合、モデルは優れたパフォーマンスを達成した。
• 微分解可能なタイトルの使用により、効果的な監視が可能になり、学習の安定性と一般化性能が向上した。
• 段階的質疑応答アプローチは、ベースライン手法と比較して、より一貫性があり文脈的に正確な見出し生成を実現した。
• 結果として、大規模かつ公開可能なデータをエンドツーエンドで学習させることで、人間のパフォーマンスに匹敵する見出し生成システムを構築できることが示された。