[論文レビュー] From Standard Summarization to New Tasks and Beyond: Summarization with Manifold Information

Shen Gao, Xiuying Chen+3 more|arXiv (Cornell University)|May 10, 2020

Topic Modeling参考文献 65被引用数 5

ひとこと要約

この論文は、文書構造、クエリ、対話履歴、テンプレート、マルチメディアなど、標準的な抽出的・要約的要約を超えた多様な情報を利用する、新たなテキスト要約タスクを調査する。これらのタスクに対してデータ駆動型で深層学習に基づく手法を提示しており、テンプレートベースの生成やマルチモーダル統合を含む。200万件以上のサンプルを含む大規模なデータセット、パターン化要約コーパス上でも最先端の結果を達成している。

ABSTRACT

Text summarization is the research area aiming at creating a short and condensed version of the original document, which conveys the main idea of the document in a few words. This research topic has started to attract the attention of a large community of researchers, and it is nowadays counted as one of the most promising research areas. In general, text summarization algorithms aim at using a plain text document as input and then output a summary. However, in real-world applications, most of the data is not in a plain text format. Instead, there is much manifold information to be summarized, such as the summary for a web page based on a query in the search engine, extreme long document (e.g., academic paper), dialog history and so on. In this paper, we focus on the survey of these new summarization tasks and approaches in the real-world application.

研究の動機と目的

• 文書構造や外部知識などの多様な情報を利用した要約に関する体系的な文献の不足を補うこと。
• ストリーム、タイムライン、極めて長いドキュメント、対話、クエリベース、コメントを統合する、テンプレートベース、マルチモーダル要約の8つの新しい要約タスクを調査すること。
• これらの複雑な設定において、従来の特徴工学的アプローチよりも優れるデータ駆動型でニューラルネットワークベースの手法を提示すること。
• 新興の要約アプリケーションにおける問題定式化、データ収集、モデルアーキテクチャの包括的概要を提供すること。
• 現実世界の非標準的な入力形式を想定した高度な要約システムの構築における最近の進展と今後の方向性を強調すること。

提案手法

• 文書構造を組み込むタスクと追加の知識を統合するタスクを区別する8つの新しい要約タスクの分類法を提案する。
• テンプレート、クエリ、または視覚的入力からの情報を、ソースドキュメントと統合するためのアテンションメカニズムを用いた深層学習ベースのモデルを導入する。
• テキストと画像または動画入力から要約を生成するため、マルチモーダルアテンションを備えたシーケンス・トゥ・シーケンスモデルを採用する。
• 画像ベースの要約において、関係のない視覚的特徴からのノイズを低減するために、画像アテンションとコンテキストフィルタを適用する。
• 3次元畳み込みニューラルネットワーク（例：ResNeXt-101）から得られる動画表現をテキスト生成モデルに統合するための階層的アテンションを用いる。
• 200万件以上のサンプルを含む大規模なパターン化要約データセットを活用し、再利用可能な要約テンプレートと顕著な事実抽出を学習するモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 クエリ、文書構造、マルチメディアコンテンツなどの多様な情報を要約システムが効果的に統合する方法は何か？
• RQ2 対話履歴やクエリ付きのウェブページなどの複雑で現実世界の入力形式に標準的な要約を拡張する際の主な課題は何か？
• RQ3 これらの新しい要約タスクにおいて、データ駆動型の深層学習ベースの手法と従来のルールベースまたは特徴工学的アプローチとの比較では、どのような差異が生じるか？
• RQ4 学習されたテンプレートとソースドキュメントおよびテンプレートドキュメント間の依存関係モデリングが、要約品質の向上に果たす役割は何か？
• RQ5 視覚的および動画データをテキストと効果的に統合することで、抽象的要約のパフォーマンスをどのように向上させられるか？

主な発見

• 依存関係モデリングを組み込んだ提案されたテンプレートベースの手法は、2,003,390組のドキュメント-要約ペairを含む大規模なパターン化要約データセット上で最先端のパフォーマンスを達成した。
• アテンションメカニズムを用いた画像および動画エンコーダーを統合したマルチモーダル要約モデルは、関連する視覚的コンテンツを組み込むことで要約品質を向上させた。
• 画像アテンションフィルタとコンテキストフィルタは、関係のない視覚的特徴からのノイズを低減し、画像ベース要約の耐障害性を向上させた。
• 3次元畳み込みニューラルネットワーク（例：ResNeXt-101）と階層的アテンションを用いた動画ベース要約モデルは、動画コンテンツと生成された要約との間でより良い整合性を達成した。
• ニューラル抽象的要約モデルは、従来の抽出的および言い換えベースの手法よりもROUGEスコアで優れており、最高のモデルではCNN/DailyMailデータセットでROUGE-1が43.25、ROUGE-2が20.24、ROUGE-Lが39.63を達成した。
• クエリに依存するアテンションをクエリベース要約に組み込むことで、クエリに依存しない手法と比較して、より関連性が高く焦点の当たった要約が得られた。