[論文レビュー] A Focused Study on Sequence Length for Dialogue Summarization

Bin Wang, Chen Zhang+2 more|arXiv (Cornell University)|Sep 24, 2022

Topic Modeling被引用数 10

ひとこと要約

本稿は、会話要約における要約長の重要な役割を調査し、事前学習モデル（BART や T5 など）が、事前学習の目的に起因して人間の要約よりも著しく冗長な出力を生成することを明らかにした。予測されたまたは真値の要約長を入力トークンとして組み込むことで、著者らは単純な長さ対応型適応（LA-BART）を提案し、ROUGE および BERTScore の指標を向上させるとともに、長さのばらつきを低減した。その結果、DialogSum および SAMSum データセットで人間水準に近い簡潔さと性能向上を達成した。

ABSTRACT

Output length is critical to dialogue summarization systems. The dialogue summary length is determined by multiple factors, including dialogue complexity, summary objective, and personal preferences. In this work, we approach dialogue summary length from three perspectives. First, we analyze the length differences between existing models' outputs and the corresponding human references and find that summarization models tend to produce more verbose summaries due to their pretraining objectives. Second, we identify salient features for summary length prediction by comparing different model settings. Third, we experiment with a length-aware summarizer and show notable improvement on existing models if summary length can be well incorporated. Analysis and experiments are conducted on popular DialogSum and SAMSum datasets to validate our findings.

研究の動機と目的

• 最先端の会話要約モデルが、人間の要約と比較してなぜ冗長な要約を生成するのかを調査すること。
• 会話特徴量から要約長が予測可能かどうかを分析し、長さ予測に最も顕著な特徴量は何かを特定すること。
• 要約長を明示的な入力として統合することで、モデルの性能と制御性に与える影響を評価すること。
• 単純な長さ対応型適応が、要約品質および長さの一貫性を著しく向上させることを実証すること。

提案手法

• 著者らは、DialogSum および SAMSum データセット上でモデル出力と人間要約を比較し、長さの乖離と人間間の合意度を定量化した。
• 会話特徴量（例：会話長、話者数、発話数など）を用いて、要約長の推定を行う長さ予測器を訓練した。
• 要約長を条件付き入力トークン（例：'Summary length: 25.'）としてデコード時に組み込む、長さ対応型 BART ベースモデル（LA-BART）を提案した。
• 3 種類のバリエーションを評価した：LA-BART v1（推論時に予測長を使用）、LA-BART v2（推論時に真値長を使用）、および要約生成と長さ予測を同時に学習するマルチタスク学習バージョン。
• 自動評価には ROUGE および BERTScore を使用し、人間評価では要約の全体的質を 5 段階スケールで順位付けした。
• 統計的分析として、予測された長さと実際の長さの間の相関係数（ピアソン、スピアマン、ケンドール）を算出した。

実験結果

リサーチクエスチョン

• RQ1 なぜ事前学習された会話要約モデルが、人間の要約よりも長くなるのか？
• RQ2 どの会話レベル特徴量が要約長の予測に最も予測可能か？
• RQ3 予測値または真値の要約長を入力として組み込むことで、生成された要約の簡潔さと質が向上するか？
• RQ4 標準的な自己回帰的生成と比較して、長さ対応生成は ROUGE、BERTScore、長さのばらつきの観点でどのように異なるか？

主な発見

• BART Large は平均 54.2 語の要約を生成するが、人間要約の平均は 46.3 語であり、7.9 語の絶対的長さ差が生じ、著しい冗長性問題が明らかになった。
• 人間間の長さ合意度は高い（相関係数 r=76.9）が、モデルと人間の間の長さ相関は低い（例：BART Large：r=74.6）ため、モデルは人間の長さの一貫性を再現できていない。
• 真値長を入力とした LA-BART は、DialogSum で絶対的長さ差を 2.6 語、SAMSum で 4.1 語に低減し、人間水準の長さ精度に近づいた。
• 予測長を入力とした LA-BART（v1）は、DialogSum で長さ差を 7.9 語から 5.5 語に低減し、BERTScore を 51.6 から 52.3 に向上させ、明確な改善が得られた。
• 長さ予測のためのマルチタスク学習は、長さ予測の正確性と要約品質の両方を向上させ、DialogSum では BERTScore を 51.6 から 52.3 に向上させた。
• 人間評価では、真値長を入力とした LA-BART が生成要約の中で最高順位にランクされ、標準的な BART や予測長を入力とした LA-BART よりも優れていた。