[논문 리뷰] SummAE: Zero-Shot Abstractive Text Summarization using Length-Agnostic Auto-Encoders

Peter J. Liu, Yu-An Chung외 1명|arXiv (Cornell University)|2019. 10. 02.

Topic Modeling참고 문헌 41인용 수 16

한 줄 요약

이 논문은 훈련 중에 레이블이 없는 요약문이 전혀 없는 상황에서도 다섯 문장으로 구성된 스토리에서 한 문장 요약을 생성하는 제로샷 개괄적 요약 모델인 SummAE를 소개한다. 이 모델은 길이에 민감하지 않은 노이즈 제거 오토인코더를 사용한다. 자기지도 학습 전훈을 통해 마스킹된 문장 예측과 단락 재배열을 적용함으로써 ROUGE-1 점수가 36.5에 도달하여 추출적 기준 모델을 크게 앞서며, 오라클 추출적 성능에 가까워진다.

ABSTRACT

We propose an end-to-end neural model for zero-shot abstractive text summarization of paragraphs, and introduce a benchmark task, ROCSumm, based on ROCStories, a subset for which we collected human summaries. In this task, five-sentence stories (paragraphs) are summarized with one sentence, using human summaries only for evaluation. We show results for extractive and human baselines to demonstrate a large abstractive gap in performance. Our model, SummAE, consists of a denoising auto-encoder that embeds sentences and paragraphs in a common space, from which either can be decoded. Summaries for paragraphs are generated by decoding a sentence from the paragraph representations. We find that traditional sequence-to-sequence auto-encoders fail to produce good summaries and describe how specific architectural choices and pre-training techniques can significantly improve performance, outperforming extractive baselines. The data, training, evaluation code, and best model weights are open-sourced.

연구 동기 및 목표

• 훈련 중에 레이블이 없는 요약문이 전혀 없는 상황에서 제로샷 개괄적 요약 문제를 해결한다.
• 자원이 제한된 환경에서 추출적 요약과 개괄적 요약 간의 성능 격차를 줄인다.
• 문장과 단락을 공통 잠재 공간에 함께 인코딩하는 통합형 엔드 투 엔드 신경망 모델을 개발한다.
• 잠재 공간에서 문장 표현과 단락 표현이 분리되는 것을 방지하기 위해 아키텍처 및 전훈 구성 요소를 설계한다.
• ROCStories 기반으로 새로운 벤치마크인 ROCSumm을 구축하여 비지도 개괄적 요약의 진전을 측정한다.

제안 방법

• 공통 인코더를 사용하여 문장과 단락을 공통 잠재 공간에 인코딩하는 노이즈 제거 오토인코더를 훈련한다.
• 재구성 중에 디코더가 문장 또는 단락을 생성하도록 조건화하기 위해 특수 토큰 접두어를 사용한다.
• 내성과 일반화 능력을 향상시키기 위해 토큰 마스킹과 단락 재배열이라는 두 가지 노이즈 증강 기법을 적용한다.
• 문장 간 순서 예측(NSSP)과 언어 모델링(LM)을 포함한 자기지도 학습 전훈 목표를 구현하여 문장과 단락 표현을 정렬한다.
• 표현 능력과 자동회귀 생성 품질의 균형을 맞추기 위해 트랜스포머 인코더와 RNN 디코더 아키텍처를 사용한다.
• 마스킹 및 재배열된 입력 시퀀스에서 노이즈 제거 오토인코딩 손실을 통해 모델을 엔드 투 엔드로 미세조정한다.

실험 결과

연구 질문

• RQ1 훈련 중에 레이블이 없는 요약문이 전혀 없는 상황에서도 단일 노이즈 제거 오토인코더 모델이 효과적으로 개괄적 요약을 생성할 수 있는가?
• RQ2 잠재 공간에서 문장 표현과 단락 표현이 분리되는 것을 방지하기 위해 필요한 아키텍처 및 전훈 구성 요소는 무엇인가?
• RQ3 토큰 마스킹과 단락 재배열과 같은 노이즈 증강 기법이 요약 품질과 모델 안정성에 어떤 영향을 미치는가?
• RQ4 자기지도 학습 전훈(NSSP 및 LM)이 추출적 기준 모델을 넘어서 제로샷 개괄적 요약 성능을 얼마나 향상시킬 수 있는가?
• RQ5 ROUGE 메트릭스 성능은 생성된 요약문의 유창성과 정보 관련성에 대한 인간 평가와 상관관계가 있는가?

주요 결과

• 최고의 SummAE 모델은 ROUGE-1 점수 36.5와 ROUGE-L 점수 29.3를 기록하여 가장 우수한 추출적 기준 모델(ROUGE-1: 27.3)을 크게 앞섰다.
• NSSP와 LM 전훈을 모두 적용한 모델(ROUGE-1: 36.5)은 단일 전훈 목표 또는 전훈 없이 훈련된 모델보다 성능이 뛰어났다.
• 토큰 마스킹 또는 단락 재배열을 제거하면 ROUGE-1 점수가 2.5~3.1 포인트 감소하여, 두 기법 모두 성능과 안정성에 필수적임을 시사한다.
• 인간 평가 결과, 최고의 모델(TRF-RNN + NSSP + LM)은 정보 관련성 측면에서 86%의 경우, 유창성 측면에서 99%의 경우 이전 모델보다 선호되었지만 여전히 인간 수준에는 훨씬 못 미쳤다.
• 모델의 단락 재구성 결과는 유창하지만 사실 오류를 포함하고 있어, 재구성 품질 향상이 요약의 정확성 향상에 기여할 수 있음을 시사한다.
• 오토인코더 아키텍처에 크리틱을 사용할 경우 잠재 공간의 분리로 인해 성능 저하가 발생했으며, 이는 전훈과 노이즈 증강으로 완화되었다.