[論文レビュー] HydraSum: Disentangling Stylistic Features in Text Summarization using Multi-Decoder Models

Tanya Goyal, Nazneen Fatema Rajani+2 more|arXiv (Cornell University)|Oct 8, 2021

Topic Modeling被引用数 5

ひとこと要約

HydraSumは、標準的な学習中にスタイル特徴（要約の抽象度、具体性、長さなど）を別々のデコーダーに分離する多デコーダー変換器アーキテクチャを提案する。これにより、個々のデコーダーまたはそれらの組み合わせからサンプリングすることで、多様な要約生成が可能になる。Bartなどのベースラインモデルと比較して、スタイルの多様性が向上し、人的評価スコアも向上している。

ABSTRACT

Summarization systems make numerous "decisions" about summary properties during inference, e.g. degree of copying, specificity and length of outputs, etc. However, these are implicitly encoded within model parameters and specific styles cannot be enforced. To address this, we introduce HydraSum, a new summarization architecture that extends the single decoder framework of current models to a mixture-of-experts version with multiple decoders. We show that HydraSum's multiple decoders automatically learn contrasting summary styles when trained under the standard training objective without any extra supervision. Through experiments on three summarization datasets (CNN, Newsroom and XSum), we show that HydraSum provides a simple mechanism to obtain stylistically-diverse summaries by sampling from either individual decoders or their mixtures, outperforming baseline models. Finally, we demonstrate that a small modification to the gating strategy during training can enforce an even stricter style partitioning, e.g. high- vs low-abstractiveness or high- vs low-specificity, allowing users to sample from a larger area in the generation space and vary summary styles along multiple dimensions.

研究の動機と目的

• 既存の抽象的要約モデルにおける要約スタイルに対するユーザーの制御の欠如に対処すること。
• 要約におけるスタイルの変異（例：抽象度、具体性）が、標準的な学習データに自然に現れるかどうかを調査すること。
• スタイルを明示的に別々のデコーダーに分離するモデルアーキテクチャを構築すること。
• 訓練中に修正されたゲーティング戦略を用いることで、スタイルのパーティショニングを制御可能にできるかどうかを評価すること。
• ベースラインモデルと比較して、改善されたスタイルの多様性と人的評価による品質を示すこと。

提案手法

• k > 1 個のデコーダーを用いた mixture-of-experts (MoE) 構成に、標準的なエンコーダデコーダー変換器アーキテクチャを改造する。
• 入力ドキュメントを共有エンコーダーで符号化し、各デコーダーが符号化された表現に基づいて独立に要約トークンを生成する。
• 各デコーディングステップで、すべてのデコーダーの出力確率分布を学習可能なゲーティング機構を用いて組み合わせ、最終的なトークン分布を生成する。
• 追加の監視やスタイルアノテーションなしに、標準的な自己回帰的言語モデル学習目的でモデルを訓練する。
• 個々のデコーダーからサンプリングするか、重み付きのデコーダー混合物からサンプリングすることで、推論を可能にし、異なるスタイル特徴を持つ要約を生成する。
• 訓練中にゲーティング機構に簡単な修正を加えることで、特定のスタイル次元（例：高・低の抽象度）に沿ったより明確なパーティショニングを明示的に強制する。

実験結果

リサーチクエスチョン

• RQ1 複数のデコーダーを備えたマルチデコーダー変換器アーキテクチャにおいて、明示的なスタイル監視なしに、各デコーダーが自動的に異なる要約スタイルを学習できるか？
• RQ2 個々のデコーダーまたはそれらの混合物からサンプリングすることで、標準モデルと比較してスタイルの多様性と要約品質がどの程度向上するか？
• RQ3 訓練中にゲーティング機構に簡単な修正を加えることで、抽象度や具体性のような特定の次元に沿ったより明確なスタイルパーティショニングを実現できるか？
• RQ4 人的アノテーションスコア（関連性、一貫性、文法的正しさ、事実性）において、HydraSumが生成する要約とベースラインモデルの間にどのような差があるか？
• RQ5 モデルがスタイルの多様な要約を生成できる能力が、さまざまな要約データセット（Cnn、Newsroom、XSum）およびスタイル次元に一般化されるか？

主な発見

• HydraSumの複数のデコーダーは、明示的な監視なしに、標準的な学習中に、高・低の抽象度や高・低の具体性といった対照的なスタイルを自動的に学習する。
• 個々のデコーダーからサンプリングするか、それらの混合物からサンプリングすることで、ベースラインモデルのビームサーチやトップ-kデコーディングと比較して、顕著に高いスタイルの多様性を持つ要約が得られる。
• 人的評価では、HydraSumモデルの要約が、すべての指標でベースラインBartモデルを上回っている：Cnnデータセットにおいて、関連性（4.4 vs. 4.3）、一貫性（4.4 vs. 4.3）、文法的正しさ（4.3 vs. 4.2）、事実性（0.89 vs. 0.83）。
• 訓練中に修正されたゲーティング戦略を用いることで、抽象度や具体性といった複数の次元に沿った、より明確なスタイルパーティショニングが可能になり、ユーザーが生成空間の広い範囲からスタイルをサンプリングできるようになる。
• XSumデータセットでは、HydraSumのD0およびD1デコーダーが、それぞれ事実性スコア0.89および0.87を達成し、ベースラインBartモデルの0.85を上回った。
• モデルは3つのデータセット（Cnn、Newsroom、XSum）すべてで強力なパフォーマンスを維持しており、分離機構の頑健さと一般化能力が示された。