[論文レビュー] Align then Summarize: Automatic Alignment Methods for Summarization Corpus Creation

Paul Tardy, David Janiszek+2 more|arXiv (Cornell University)|Jul 15, 2020

Topic Modeling参考文献 24被引用数 6

ひとこと要約

本稿では、会議の文字起こしとそれに対応するレポートを自動的に整合させるためのブートストラップ手法を提案する。この手法により、神経ネットワークを用いた要約生成のための大規模データ収集が可能になる。人間のフィードバックを繰り返し適用することで事前整合を改善することで、アノテーション作業の負荷を軽減し、public_meetingsという新しい公開コーパスにおいて要約性能を約+4 ROUGEポイント向上させる。

ABSTRACT

Summarizing texts is not a straightforward task. Before even considering text summarization, one should determine what kind of summary is expected. How much should the information be compressed? Is it relevant to reformulate or should the summary stick to the original phrasing? State-of-the-art on automatic text summarization mostly revolves around news articles. We suggest that considering a wider variety of tasks would lead to an improvement in the field, in terms of generalization and robustness. We explore meeting summarization: generating reports from automatic transcriptions. Our work consists in segmenting and aligning transcriptions with respect to reports, to get a suitable dataset for neural summarization. Using a bootstrapping approach, we provide pre-alignments that are corrected by human annotators, making a validation set against which we evaluate automatic models. This consistently reduces annotators' efforts by providing iteratively better pre-alignment and maximizes the corpus size by using annotations from our automatic alignment models. Evaluation is conducted on \publicmeetings, a novel corpus of aligned public meetings. We report automatic alignment and summarization performances on this corpus and show that automatic alignment is relevant for data annotation since it leads to large improvement of almost +4 on all ROUGE scores on the summarization task.

研究の動機と目的

• 要約生成のための多様でニュース以外のデータセットが不足している問題に対処するため、要約が要約的かつ多様性が求められる会議データに焦点を当てる。
• 自動事前整合モデルを用いて人間によるアノテーション作業の負荷を軽減する。このモデルは繰り返し改善される。
• 自動整合と人間によるフィードバックを組み合わせたスケーラブルなパイプラインを構築し、大規模かつ高品質な要約データセットを作成する。
• 新しい公開コーパスを用いて、自動生成された整合が下流のニューラル要約性能に与える影響を評価する。
• 自動整合が要約モデルの性能を著しく向上させつつ、品質を損なわないことを実証する。

提案手法

• 会話の発話者切り替えポイントで会議の文字起こしをセグメントに分割し、整合のための離散的単位を生成する。
• ブートストラップループを採用：埋め込みベースの類似度を用いて初期の自動整合を生成し、その後で人間によるアノテーションで改善する。
• 語彙レベルおよびセグメントレベルの類似度指標（例：語彙正確度、WindowDiff）を用いて、整合の品質を評価する。
• 金標準のアノテーション済みペアと自動的に整合されたペアの両方を用いてニューラル要約モデルを学習し、性能を比較する。
• 公平な比較を保つために、評価中に不要な文字起こしセグメントを特定・除外するためのフィルタリング機構を適用する。
• 整合プロセスにおける意味的マッチングに、公開済みの単語埋め込み（Fauconnier, 2015）を用いる。

実験結果

リサーチクエスチョン

• RQ1 自動整合手法は、会議要約の高品質な整合を維持しつつ、人間のアノテーション作業の負荷を軽減できるか？
• RQ2 金標準のアノテーション済みデータと比較して、自動的に整合されたデータを用いることで、ニューラル要約性能はどの程度向上するか？
• RQ3 人間のフィードバックによる事前整合の繰り返し改善は、整合の正確性と効率性にどのような影響を与えるか？
• RQ4 不要な文字起こしセグメントは整合の品質にどのような影響を与えるか？また、評価において効果的に対処する方法は何か？
• RQ5 整合の信頼度スコアを用いて、低品質な自動アノテーションをフィルタリングし、下流の要約タスクに活用できるか？

主な発見

• 提案されたブートストラップ手法により、アノテーターの作業負荷が顕著に軽減され、人間によるアノテーションの整合精度が初回の18.63％から最終段階の72.67％まで向上した。
• 自動アノテーションを用いて訓練データを拡張した結果、public_meetingsテストセットにおいて、すべての指標（R1, R2, RL）で約+4 ROUGEポイントの一貫した向上が得られた。
• 21,000件の金標準アノテーションペアと70,000件の自動的に整合されたトレーニングペアを含むpublic_meetingsコーパスは、整合および要約モデルの評価を堅牢に行うことを可能にする。
• 不要なセグメントを除外した場合、語彙正確度が4.7％低下した。これは、このようなセグメントが整合評価に顕著な影響を与えることを示しており、評価において考慮すべきである。
• 最終の検証セットにおいて、自動アノテーションモデルはセグメントレベルで72.67％の正確度を達成し、実世界の会議データにおいて優れた性能を示した。
• 自動アノテーションと最小限の人の修正を組み合わせることで、大規模かつ高品質な要約データセットの構築が成功裏に実現された。