[논문 리뷰] GSum: A General Framework for Guided Neural Abstractive Summarization

Zi-Yi Dou, Pengfei Liu외 3명|arXiv (Cornell University)|2020. 10. 15.

Topic Modeling참고 문헌 40인용 수 15

한 줄 요약

이 논문은 사전 학습된 언어 모델 기반의 통합 인코더-디코더 아키텍처에 강화된 문장, 关련 키워드, 관계 삼중항, 검색된 요약 등 다양한 외부 가이던스를 통합하는 일반적이고 확장 가능한 GSum 프레임워크를 제안한다. 이 프레임워크는 네 가지 벤치마크 데이터셋에서 최신 기술 수준의 ROUGE 점수를 달성하며, 특히 CNN/DM 데이터셋에서 이전 최고 성능 모델 대비 ROUGE-1/2/L 에서 각각 1.28/0.79/1.13 향상되었고, 사용자가 지정한 가이던스를 통해 신뢰성과 제어 가능성도 향상시킨다.

ABSTRACT

Neural abstractive summarization models are flexible and can produce coherent summaries, but they are sometimes unfaithful and can be difficult to control. While previous studies attempt to provide different types of guidance to control the output and increase faithfulness, it is not clear how these strategies compare and contrast to each other. In this paper, we propose a general and extensible guided summarization framework (GSum) that can effectively take different kinds of external guidance as input, and we perform experiments across several different varieties. Experiments demonstrate that this model is effective, achieving state-of-the-art performance according to ROUGE on 4 popular summarization datasets when using highlighted sentences as guidance. In addition, we show that our guided model can generate more faithful summaries and demonstrate how different types of guidance generate qualitatively different summaries, lending a degree of controllability to the learned models.

연구 동기 및 목표

• 신경 추상적 요약 모델의 제어성과 신뢰성 부족 문제를 해결하기 위해.
• 강화된 문장, 키워드, 관계, 검색된 요약 등 다양한 가이던스 신호를 하나의 확장 가능한 프레임워크로 통합하기 위해.
• 다양한 가이던스 유형이 요약 품질과 신뢰성 향상에 얼마나 효과적이고 상호 보완적인지 평가하기 위해.
• 사용자가 지정한 가이던스가 제어 가능한 고품질 요약 생성을 가능하게 하는지 확인하기 위해.
• 오라클 가이던스 트레이닝이 모델의 가이던스 신호와의 일치도 향상시키는지 조사하기 위해.

제안 방법

• 사전 학습된 인코더(예: BERT, BART)를 사용하는 시퀀스-투-시퀀스 모델로, 소스 문서와 다양한 유형의 가이던스 신호를 동시에 고려한다.
• 가이던스 신호는 별도로 인코딩된 후 소스 문서 표현과 결합되어 디코딩 단계에 입력된다.
• 학습 중 오라클을 사용해 각 예제에 대해 가장 정보성 있는 가이던스 신호를 선택함으로써 가이던스와 기준 요약 간 강한 일치를 보장한다.
• 추론 시에는 자동으로 추출된 또는 사용자가 지정한 가이던스 신호에 따라 모델을 조정할 수 있어 제어 가능성이 확보된다.
• 모델은 네 가지 가이던스 유형을 지원한다: 강조 문장, 키워드, 주요 관계 삼중항(주어-관계-목적어), 검색된 요약.
• ROUGE 및 인간 평가를 통한 사실적 정확도 평가와, 오라클 트레이닝의 필요성을 평가하기 위한 아블레이션 스터디를 통해 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 강조 문장, 키워드, 관계, 검색된 요약 등 다양한 유형의 가이던스 신호가 추상적 요약 품질 향상에 어떻게 영향을 미치는가?
• RQ2 여러 가이던스 신호를 효과적으로 조합하여 단일 신호 모델을 초월한 요약 성능 향상을 달성할 수 있는가?
• RQ3 학습 중 오라클을 사용해 가이던스를 선택함으로써 모델 성능과 신뢰성이 뚜렷이 향상되는가?
• RQ4 사용자가 지정한 가이던스가 생성된 요약의 내용과 스타일을 얼마나 잘 제어할 수 있는가?
• RQ5 가이던스 기반 모델이 추상적 기반 모델 대비 사실적 정확성과 신선도 측면에서 어떻게 다른가?

주요 결과

• 강조 문장 가이던스를 사용한 GSum 모델은 6개의 벤치마크 중 4개에서 최신 기술 수준의 ROUGE 점수를 기록했으며, 특히 CNN/DM 데이터셋에서 이전 최고 성능 모델 대비 ROUGE-1/2/L 에서 각각 1.28/0.79/1.13 향상되었다.
• 강조 문장, 키워드, 관계, 검색된 요약 등 다양한 가이던스 신호의 출력을 통합하면 추가적인 성능 향상이 이루어져, ROUGE-1/L 에서 48.30/45.15를 기록하며 단일 가이던스 모델을 모두 초월했다.
• 가이던스 신호 간의 쌍별 통합은 상호 보완성을 보이며, 각 신호가 최종 요약에 고유한 강점을 기여한다.
• 인간 평가 결과, 기반 모델 대비 가이던스 기반 모델이 유의미하게 더 높은 사실적 정확도를 보이며 더 높은 신뢰성 요약을 생성함을 확인했다(p < 0.001).
• 모델는 제공된 가이던스 신호에 밀접하게 일치하는 동시에 새로운 요약도 생성할 수 있으며, 예를 들어 입력 문장을 반복하거나 약간의 재구성(Paraphrase)을 통해 출력을 생성한다.
• 오라클 대신 자동으로 추출된 가이던스를 학습에 사용할 경우 성능 저하가 심각하게 발생함을 확인하여, 효과적인 가이던스 학습을 위해 오라클 감독의 필요성을 입증했다.