[論文レビュー] A Two-Phase Approach for Abstractive Podcast Summarization

Chujie Zheng, Kunpeng Zhang+2 more|arXiv (Cornell University)|Nov 16, 2020

Topic Modeling参考文献 11被引用数 6

ひとこと要約

本稿では、ROUGEに基づく手法とトピック強化手法を用いて冗長性を低減し意味を保持するように、最初に顕著な文を抽出する2段階の要約抽出手法を提案する。その後、微調整された distilBART モデルを用いて要約を生成する。この手法は TREC 2020 Podcast Track で最先端の性能を達成し、ROUGE スコアおよび人間評価の両面で平均参加者を上回り、1つの手法では品質評価で14.3%高いスコアを記録した。

ABSTRACT

Podcast summarization is different from summarization of other data formats, such as news, patents, and scientific papers in that podcasts are often longer, conversational, colloquial, and full of sponsorship and advertising information, which imposes great challenges for existing models. In this paper, we focus on abstractive podcast summarization and propose a two-phase approach: sentence selection and seq2seq learning. Specifically, we first select important sentences from the noisy long podcast transcripts. The selection is based on sentence similarity to the reference to reduce the redundancy and the associated latent topics to preserve semantics. Then the selected sentences are fed into a pre-trained encoder-decoder framework for the summary generation. Our approach achieves promising results regarding both ROUGE-based measures and human evaluations.

研究の動機と目的

• 標準のトランスフォーマー・モデルのコンテキスト長を超える長さの会話的でノイズの多いポッドキャストのトランスクリプトを要約する課題に対処する。
• 日常的で広告が多く、長大なポッドキャスト・コンテンツを処理する際の、既存の要約抽出モデルの限界を克服する。
• 意味的に重要な内容であり、重複のない文を特定する文選択メカニズムを構築し、より優れた要約抽出を実現する。
• 選択プロセスに参照ベースの（ROUGEに基づく）特徴とトピックレベルの特徴を統合することで、要約の意味的整合性とカバー範囲を向上させる。
• 抽出フィルタリングと要約生成のパイプラインを組み合わせることで、TREC 2020 Podcast Track ベンチマークで優れた性能を達成する。

提案手法

• 2段階のパイプラインを適用する：まず、参照要約とのROUGEベースの類似度と潜在的トピックモデリングを用いて、長大なポッドキャストのトランスクリプトから重要な文を抽出する。
• 文単位のROUGEスコアを用いて、参照要約に最も近い文を特定し、冗長性を最小限に抑える。
• トピックモデリング（例：LDA または類似手法）を統合し、選択された文がポッドキャストのコアトピックを代表していることを保証する。
• 選択された文を、要約抽出用に微調整された事前学習済みの distilBART エンコーダーデコーダーモデルに供給する。
• HuggingFace の distilBART-cnn-12-6 を活用し、フィルタリングされた入力に対して効率的かつ効果的な要約生成を実現する。
• 抽出フィルタリングと要約生成を組み合わせることで、事実のカバー範囲と自然な言語の流暢さの両方をバランスさせる。

実験結果

リサーチクエスチョン

• RQ1 長大で会話的でノイズの多いポッドキャストのトランスクリプトにおいて、どのようにして重要で重複のない文を効果的に特定できるか？
• RQ2 ROUGEに基づく文選択は、ポッドキャストの要約抽出性能をどの程度向上させられるか？
• RQ3 トピックレベルの特徴を統合することで、選択された文の意味的整合性とカバー範囲はどの程度向上するか？
• RQ4 2段階の抽出→生成アプローチは、長大なポッドキャストデータに対して、エンドツーエンドの要約抽出モデルを上回る性能を発揮できるか？
• RQ5 高品質なポッドキャスト要約の特徴は何か。それらの特徴を自動要約において体系的に捉えるにはどうすればよいか？

主な発見

• 提案された2段階アプローチは、TREC 2020 Podcast Track における人間評価スコアで1.12を達成し、平均参加者スコアの0.98よりも14.3%高いスコアを記録した。
• 手法3は最高の人間評価スコアを記録し、7.82%の要約が「優れた」、21.79%が「良い」と評価され、高品質カテゴリで他の手法を上回った。
• 提出された4つの手法すべてが、少なくとも8つの人間評価質問のうち6つ以上で平均を上回り、ホスト、トピック、ポッドキャスト形式といった重要な要素を的確に捉えていることが示された。
• Q1（主な人物の名前）で0.60、Q3（主なトピック）で0.70、Q5（ポッドキャストタイトルの文脈）で0.68のスコアを記録し、コアコンテンツを効果的に捉えていることが示された。
• Q6（冗長な情報）のスコアが低く、要約のうちたった4.0%しか「高レベルの冗長性」に該当しなかったことから、冗長性が著しく低減されたことが裏付けられた。
• Q7（良い英語）とQ8（適切な文の区切り）のスコアが高く、すべての手法の平均でQ7が0.74に達したことから、自然で構造的で流暢な要約を生成する能力が裏付けられた。