[論文レビュー] Language Model as an Annotator: Exploring DialoGPT for Dialogue Summarization

Xiachong Feng, Xiaocheng Feng+3 more|arXiv (Cornell University)|May 26, 2021

Topic Modeling参考文献 40被引用数 10

ひとこと要約

本稿では、DialoGPTを教師なしアノテーターとして用い、対話文書要約の分野においてキーワード抽出、重複発話の検出、トピックセグメンテーションを自動で行う手法を提案する。これらのアノテーションを事前学習済み（BART）および非事前学習済み（PGN）要約モデルに統合することで、SAMSumデータセットにおいて最先端の性能を達成し、強力なベースラインを著しく上回るROUGEスコアの向上を実現した。

ABSTRACT

Current dialogue summarization systems usually encode the text with a number of general semantic features (e.g., keywords and topics) to gain more powerful dialogue modeling capabilities. However, these features are obtained via open-domain toolkits that are dialog-agnostic or heavily relied on human annotations. In this paper, we show how DialoGPT, a pre-trained model for conversational response generation, can be developed as an unsupervised dialogue annotator, which takes advantage of dialogue background knowledge encoded in DialoGPT. We apply DialoGPT to label three types of features on two dialogue summarization datasets, SAMSum and AMI, and employ pre-trained and non pre-trained models as our summarizes. Experimental results show that our proposed method can obtain remarkable improvements on both datasets and achieves new state-of-the-art performance on the SAMSum dataset.

研究の動機と目的

• 対話要約における手作業またはオープンドメインツールベースのアノテーションには、人的リソースの消費や対話に特化しないという限界があるため、それらの課題を解決すること。
• DialoGPTに事前学習された対話特化型知識を活用し、キーワード、重複インジケーター、トピックセグメントの3種類の補助的アノテーションを自動生成すること。
• これらの教師なしアノテーションを事前学習済みおよび非事前学習済みの要約モデルに統合することで、対話要約の性能を向上させること。
• DialoGPTから得られる教師なしアノテーションのみを用いて、SAMSumデータセットで最先端の性能を達成すること。

提案手法

• DialoGPTアノテーターは、モデルの自己回帰的生成から得られる単語レベルおよび発話レベルの予測誤差を計算し、それらをアノテーションの信号として用いる。
• キーワードは、文脈内での予測の確実性が低い（予測可能性が低い）単語として抽出され、情報量が多いことを示す。
• 重複検出は、発話を挿入した後の文脈表現に最小限の変化が生じる発話を特定することで行い、これは対話文脈表現の変化が小さいことから、情報が重複していると判断する。
• トピックセグメンテーションは、予測が困難な発話の前にトピック境界トークンを挿入することで実施され、これは話題の変化を示す。
• キーワード、重複マーカー、トピックセグメントのアノテーションは、要約モデルへの入力前に特別トークン（#KEY#、[RD]、[TS]）として対話文に統合される。
• 本手法は、BART（事前学習済み）およびPGN（非事前学習済み）を要約モデルとして用い、SAMSumおよびAMIデータセットで評価され、主にROUGEスコアを指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み対話モデル（例：DialoGPT）を、対話要約の教師なしアノテーターとして効果的に再利用できるか？
• RQ2 自動生成されたアノテーション（キーワード、重複、トピック）を統合することで、異なる要約モデルアーキテクチャにおいて要約性能が向上するか？
• RQ3 本手法の性能は、強力なベースラインおよび人手による特徴量と比較して、標準的な対話要約ベンチマークでどのように評価されるか？
• RQ4 キーワード、重複、トピックの3種類のアノテーションが、個別および統合的に要約品質にどの程度寄与するか？

主な発見

• 提案手法は、SAMSumデータセットにおいて新たな最先端性能を達成し、3つのアノテーションをすべて使用した場合のROUGE-Lスコアは49.64を記録した。
• SAMSumでは、最良のベースライン（C99 + DialoGPT埋め込み）をROUGE-Lで0.14ポイント上回り、全指標で一貫した向上を示した。
• AMIデータセットでも競争力ある結果を達成し、すべてのアノテーションを用いた場合のROUGE-Lスコアは24.05を記録し、ベースラインのC99 + DialoGPT埋め込みを上回った。
• キーワード、重複、トピックの3つのアノテーションを統合した場合に最高の性能が得られ、要約に補完的な利点があることが示された。
• 非事前学習済みモデル（PGN）を用いても顕著な改善が得られたことから、アノテーションの品質が異なる要約モデルタイプにわたり安定していることが示された。
• 事例研究では、BARTやMV-BARTと比較して、モデルがより簡潔でトピックに整合した要約を生成していることが明らかになったが、一部の重複は依然として残っており、これは訓練データが限られていることが原因であると考えられる。