[論文レビュー] Subjective Bias in Abstractive Summarization

Lei Li, Wei Liu+5 more|arXiv (Cornell University)|Jun 18, 2021

Topic Modeling参考文献 22被引用数 4

ひとこと要約

本稿では、グラフ畳み込みネットワーク（GCN）を用いたグラフベースのスタイル埋め込みを介して、要約抽出データセットにおける主観的ライティングスタイルを同定・クラスタリングする手法を提案する。CNN-DMにおける実験では、単一スタイルのクラスタで学習させることで、モデルの収束性、抽象化能力、一般化性能が向上することが示された。特に特定のスタイルでは顕著な向上が見られた。一方、すべてのスタイルを混合して学習させることは性能を劣化させ、多様なゴールド要約が常に学習に有益であるという仮定に疑問を呈する。

ABSTRACT

Due to the subjectivity of the summarization, it is a good practice to have more than one gold summary for each training document. However, many modern large-scale abstractive summarization datasets have only one-to-one samples written by different human with different styles. The impact of this phenomenon is understudied. We formulate the differences among possible multiple expressions summarizing the same content as subjective bias and examine the role of this bias in the context of abstractive summarization. In this paper a lightweight and effective method to extract the feature embeddings of subjective styles is proposed. Results of summarization models trained on style-clustered datasets show that there are certain types of styles that lead to better convergence, abstraction and generalization. The reproducible code and generated summaries are available online.

研究の動機と目的

• ゴールド要約における主観的ライティングスタイルのばらつきが、要約抽出モデルの性能に与える影響を調査すること。
• 人間がアノテートした要約から、主観的ライティングスタイルを抽出・クラスタリングする手法を提案すること。
• 単一スタイルのクラスタで学習させたデータセットを用いた場合と、混合スタイルデータセットを用いた場合とを比較し、収束性、抽象化能力、一般化性能の優位性を評価すること。
• 多様なゴールド要約が常にモデル性能を向上させるという一般的な仮定に反論すること。

提案手法

• 元の記事（オラクル）から要約への文構造の変換を捉えるために、要約の文構造をグラフ構造として表現すること。
• 自己教師ありグラフ畳み込みネットワーク（GCN）を用いて、これらの文構造グラフから主観的スタイル埋め込みを学習すること。
• 学習されたスタイル埋め込みに基づいてデータセットをクラスタリングし、スタイル別に分離された学習データセットを作成すること。
• T5-smallを各スタイルクラスタデータセットで微調整し、全混合スタイルデータセットで学習したベースラインモデルと性能を比較すること。
• 最近接重心に基づいてテストサンプルをクラスタに分類し、スタイル別モデルの一般化性能を評価すること。
• ROUGE、BERTScore、その他の指標を用いて結果を報告し、抽象化能力、文の自然さ、事実整合性を評価すること。

実験結果

リサーチクエスチョン

• RQ1 ゴールド要約における主観的ライティングスタイルのばらつきが、要約抽出モデルの性能にどのように影響するか？
• RQ2 グラフベースで自己教師ありのGCNアプローチを用いることで、主観的スタイルを効果的に抽出・埋め込みできるか？
• RQ3 一貫した均一なスタイルで学習させることで、混合スタイルデータセットで学習させる場合と比較して、モデルの収束性や一般化性能が向上するか？
• RQ4 ROUGEスコアや抽象化品質の観点から、特定の主観的スタイルが他のスタイルよりも一貫して優れているか？
• RQ5 すべてのスタイルを1つのデータセットに組み合わせることは、本当に最適なモデル性能をもたらすのか？それとも、性能を低下させるノイズを導入するのか？

主な発見

• 単一で均一なスタイル（例：Cluster_1）で学習させることで、全混合スタイルデータセットで学習させた場合と比較して、収束性が向上し、ROUGEスコアも高くなった。
• Cluster_1で学習したモデルは、最高のROUGE-1（40.2）とROUGE-2（17.3）スコアを達成し、ベースラインおよび全データセット微調整モデルを上回った。
• 全データセット微調整モデルは収束が最も遅く、性能も最悪であり、ROUGE-2 F1スコアはたった16.1にとどまった。これは、混合スタイルが学習を妨げる要因となる可能性を示している。
• 微調整を行わないモデルが、要約関連の指標において全データセット微調整モデルを上回った。これは、微調整がコピペ傾向を助長し、抽象化能力を低下させる可能性があることを示唆している。
• 各サンプルで最高の要約を集めたアンサンブル（Cluster_Best）は、ROUGE-2 F1スコア20.0を達成し、全データセットで学習した4モデルアンサンブルとほぼ同等の性能を示した。これは、すべてのスタイルを混合することは最適でないことを示している。
• スタイル1はモデル学習にとって最も好ましい傾向を示し、このスタイルで学習したモデルは、同様のスタイルのテストセットで最も高い性能を発揮した。これは、特定の要約パターンにモデルが好んで適応する傾向があることを示している。