[論文レビュー] Abstractive Summarization of Spoken and Written Instructions with BERT

Alexandra Savelieva, Bryan Au-Yeung+1 more|arXiv (Cornell University)|Aug 21, 2020

Topic Modeling参考文献 23被引用数 25

ひとこと要約

本稿では、転移学習と前処理を用いてASRが生成したトランスクリプトを補正することで、話상 및書面の指導動画の要約生成のためのファインチューニングされた BERTSum モデルを提案する。要約は人間並みの流暢さと有用性を達成し、WikiHow では最先端技術（SOTA）を上回り、CNN/DailyMail においても性能の低下を伴わず、多様なドメインにわたる強力な汎化性能を示した。

ABSTRACT

Summarization of speech is a difficult problem due to the spontaneity of the flow, disfluencies, and other issues that are not usually encountered in written texts. Our work presents the first application of the BERTSum model to conversational language. We generate abstractive summaries of narrated instructional videos across a wide variety of topics, from gardening and cooking to software configuration and sports. In order to enrich the vocabulary, we use transfer learning and pretrain the model on a few large cross-domain datasets in both written and spoken English. We also do preprocessing of transcripts to restore sentence segmentation and punctuation in the output of an ASR system. The results are evaluated with ROUGE and Content-F1 scoring for the How2 and WikiHow datasets. We engage human judges to score a set of summaries randomly selected from a dataset curated from HowTo100M and YouTube. Based on blind evaluation, we achieve a level of textual fluency and utility close to that of summaries written by human content creators. The model beats current SOTA when applied to WikiHow articles that vary widely in style and topic, while showing no performance regression on the canonical CNN/DailyMail dataset. Due to the high generalizability of the model across different styles and domains, it has great potential to improve accessibility and discoverability of internet content. We envision this integrated as a feature in intelligent virtual assistants, enabling them to summarize both written and spoken instructional content upon request.

研究の動機と目的

• ASR トランスクリプトから得られる話상および書面の指導的コンテンツのための汎用的要約生成モデルの開発。
• ASR 出力に見られる不順応な表現、間投語、標点の誤りといった課題に対処する。
• 調理、庭いじり、ソフトウェア設定、スポーツなど多様なドメインにわたる汎化性能の向上。
• ROUGE や Content-F1 といった自動指標に加え、人間による評価による流暢さと有用性の評価。
• 自動指標を補完するための偏りのない盲検人間評価フレームワークの構築。

提案手法

• 転移学習を用いて、話상および書面の指導的データセットの組み合わせを対象に BERTSum の要約生成モデルをファインチューニング。
• spaCy を用いた前処理により、ASR が生成したトランスクリプトの文の区切りと標点の修正を実施。
• HowTo100M および YouTube でキュレートされたデータを用いてモデルを学習し、手動で修正されたトランスクリプトを活用して語彙と一貫性を向上。
• 自動評価には ROUGE、BLEU、Content-F1 を使用し、流暢さと現実性を評価するため、30 人以上の参加者を対象に盲検人間評価を実施。
• AI 生成要約と人間がキュレートした YouTube 動画の説明文を区別する、チューリングテストに類似した分類タスクを設計。
• 二重評価フレームワークを実装：一つは AI 生成要約と人間要約の区別、もう一つは会話的品質と一貫性の評価。

実験結果

リサーチクエスチョン

• RQ1 BERT をベースとする要約生成モデルは、話상の指導的コンテンツの要約を、人間が書いた記述と同等の流暢さと有用性で生成できるか？
• RQ2 ASR トランスクリプトの前処理が、一貫性と文法的正しさの観点から要約品質に与える影響は何か？
• RQ3 異種の書面および話상データを用いた転移学習は、多様な指導的トピックにわたる汎化性能をどの程度向上させるか？
• RQ4 ROUGE や Content-F1 といった自動指標は、会話的文脈における要約品質の人の評価とどの程度相関するか？
• RQ5 盲検人間評価フレームワークは、現実的な状況下で AI 生成要約と人間がキュレートした要約を効果的に区別できるか？

主な発見

• 盲検人間評価により、モデルの要約は人間のコンテンツ作成者と同等の文章の流暢さと有用性に達していることが確認された。
• 人間のジャッジは、AI 生成要約と人間がキュレートした YouTube 動画の説明文を確実に区別できず、チューリングテストで完璧なスコアを達成できなかった。これは、非常に高い現実性を示している。
• WikiHow データセットでは現在の最先端技術（SOTA）を上回ったが、CNN/DailyMail のような標準的なデータセットでも性能を維持した。
• 標点と文の境界を回復させる前処理により、ASR の誤りにもかかわらず要約の品質が著しく向上し、一貫性の欠如が減少した。
• モデルは、口語的でない話言語および形式的な書面の指示の両方において、強力な汎化性能を示した。
• 人間評価の結果、モデルの主な課題は、文法的に正しいが意味的に不整合な文を生成することであることが判明した。これは、要約生成モデルの既知の制限である。