[논문 리뷰] HydraSum: Disentangling Stylistic Features in Text Summarization using Multi-Decoder Models

Tanya Goyal, Nazneen Fatema Rajani외 2명|arXiv (Cornell University)|2021. 10. 08.

Topic Modeling인용 수 5

한 줄 요약

HydraSum는 표준 학습 중에 스타일적 특징—예를 들어 요약의 개괄성, 구체성, 길이—을 별도의 디코더로 분리하는 다중디코더 트랜스포머 아키텍처를 제안한다. 이로써 개별 또는 혼합 디코더에서 샘플링을 통해 다양한 요약을 생성할 수 있다. 기존의 Bart와 같은 기준 모델에 비해 더 높은 스타일적 다양성과 향상된 인간 평가 점수를 달성한다.

ABSTRACT

Summarization systems make numerous "decisions" about summary properties during inference, e.g. degree of copying, specificity and length of outputs, etc. However, these are implicitly encoded within model parameters and specific styles cannot be enforced. To address this, we introduce HydraSum, a new summarization architecture that extends the single decoder framework of current models to a mixture-of-experts version with multiple decoders. We show that HydraSum's multiple decoders automatically learn contrasting summary styles when trained under the standard training objective without any extra supervision. Through experiments on three summarization datasets (CNN, Newsroom and XSum), we show that HydraSum provides a simple mechanism to obtain stylistically-diverse summaries by sampling from either individual decoders or their mixtures, outperforming baseline models. Finally, we demonstrate that a small modification to the gating strategy during training can enforce an even stricter style partitioning, e.g. high- vs low-abstractiveness or high- vs low-specificity, allowing users to sample from a larger area in the generation space and vary summary styles along multiple dimensions.

연구 동기 및 목표

• 기존의 개괄적 요약 모델에서 요약 스타일에 대한 사용자 제어의 부족을 해결하기 위해.
• 표준 학습 데이터에서 요약의 스타일 변형(예: 개괄성, 구체성 등)이 자연스럽게 나타나는지 조사하기 위해.
• 유연한 추론을 위해 이러한 스타일을 명시적으로 별도의 디코더로 분리하는 모델 아키텍처를 개발하기 위해.
• 학습 중에 수정된 게이팅 전략을 통해 스타일의 통제된 분할이 가능한지 평가하기 위해.
• 기준 모델에 비해 향상된 스타일적 다양성과 인간 평가 점수를 보여주기 위해.

제안 방법

• 단일 디코더를 k > 1개의 디코더를 사용하는 전문가 혼합(MoE) 구조로 대체함으로써 표준 인코더-디코더 트랜스포머 아키텍처를 변형한다.
• 입력 문서를 공통 인코더로 인코딩하고, 각 디코더는 인코딩된 표현을 바탕으로 독립적으로 요약 토큰을 생성한다.
• 각 디코딩 단계에서 모든 디코더의 출력 확률 분포를 학습 가능한 게이팅 메커니즘을 사용해 조합하여 최종 토큰 분포를 생성한다.
• 추가적인 감독이나 스타일 레이블 없이 표준 자동회귀 언어 모델링 목적에 따라 모델을 학습한다.
• 유의미한 스타일 프로파일을 가진 요약을 생성하기 위해 개별 디코더에서 샘플링하거나 가중치가 부여된 디코더 조합에서 샘플링함으로써 추론을 가능하게 한다.
• 학습 중에 게이팅 메커니즘에 단순한 수정을 가함으로써 특정 스타일 차원(예: 높은 vs. 낮은 개괄성)에 대해 더 엄격한 분할을 명시적으로 강제한다.

실험 결과

연구 질문

• RQ1 다중디코더 트랜스포머 아키텍처에서 다수의 디코더가 명시적 스타일 감독 없이도 자동으로 대조적인 요약 스타일을 학습할 수 있는가?
• RQ2 기존 모델과 비교해 개별 또는 혼합 디코더에서 샘플링하는 것이 스타일적 다양성과 요약 품질을 얼마나 향상시키는가?
• RQ3 학습 중에 게이팅 메커니즘에 간단한 수정을 가함으로써 특정 차원(예: 개괄성 또는 구체성)에 따라 더 명확한 스타일 분할을 이룰 수 있는가?
• RQ4 인간 평가 점수(관련성, 논리성, 문법성, 사실성)에서 HydraSum가 생성한 요약과 기준 모델 간의 비교 결과는 어떠한가?
• RQ5 모델이 다양한 요약 데이터셋(Cnn, Newsroom, XSum)과 스타일 차원에 걸쳐 스타일적으로 다양한 요약을 생성할 수 있는 능력이 일반화되는가?

주요 결과

• HydraSum의 다수의 디코더는 명시적 감독 없이도 표준 학습 중에 대조적인 스타일—예를 들어 높은 vs. 낮은 개괄성, 높은 vs. 낮은 구체성—을 자동으로 학습한다.
• 개별 디코더 또는 그 조합에서 샘플링하는 것은 기존 모델의 비드 검색 또는 top-k 디코딩에 비해 상당히 높은 스타일적 다양성을 생성한다.
• 인간 평가 결과, Cnn 데이터셋에서 HydraSum 모델의 요약은 모든 지표에서 기준 모델인 Bart보다 뛰어나다: 관련성(4.4 vs. 4.3), 논리성(4.4 vs. 4.3), 문법성(4.3 vs. 4.2), 사실성(0.89 vs. 0.83).
• 학습 중에 수정된 게이팅 전략을 통해 더 엄격한 스타일 분할이 가능해져, 사용자가 여러 차원에 걸쳐 더 넓은 생성 공간 영역에서 샘플링할 수 있다.
• XSum 데이터셋에서 HydraSum의 D0 및 D1 디코더는 각각 사실성 점수 0.89 및 0.87을 기록하여 기준 모델인 Bart의 0.85를 초월한다.
• 모델은 Cnn, Newsroom, XSum의 세 데이터셋 모두에서 강력한 성능을 유지하여, 스타일 분리 메커니즘의 강건성과 일반화 능력을 입증한다.