[논문 리뷰] Controllable Abstractive Dialogue Summarization with Sketch Supervision

Chien-Sheng Wu, Linqing Liu외 3명|arXiv (Cornell University)|2021. 05. 28.

Topic Modeling참고 문헌 57인용 수 6

한 줄 요약

이 논문은 두 단계 생성 프로세스를 사용하는 제어 가능한 개괄적 대화 요약 모델인 CODS를 제안한다: 먼저 구성문법 분석을 통해 의도와 핵심 어휘를 추출하여 약한 지도 신호를 가진 요약 초안을 생성하고, 그 다음으로 텍스트 스펙트럼의 잘라내기 위치를 예측하여 길이 제어가 가능한 요약을 생성한다. 모델는 SAMSum에서 최신 기술 수준(SOTA) 성능을 달성하여 ROUGE-L 점수 50.79를 기록하였으며, 제어 가능성 면에서 뛰어난 인간 평가 결과를 보였다.

ABSTRACT

In this paper, we aim to improve abstractive dialogue summarization quality and, at the same time, enable granularity control. Our model has two primary components and stages: 1) a two-stage generation strategy that generates a preliminary summary sketch serving as the basis for the final summary. This summary sketch provides a weakly supervised signal in the form of pseudo-labeled interrogative pronoun categories and key phrases extracted using a constituency parser. 2) A simple strategy to control the granularity of the final summary, in that our model can automatically determine or control the number of generated summary sentences for a given dialogue by predicting and highlighting different text spans from the source text. Our model achieves state-of-the-art performance on the largest dialogue summarization corpus SAMSum, with as high as 50.79 in ROUGE-L score. In addition, we conduct a case study and show competitive human evaluation results and controllability to human-annotated summaries.

연구 동기 및 목표

• 대화의 구조에서 유도된 구조적이고 약한 지도 신호를 통합하여 개괄적 대화 요약의 품질을 향상시키는 것.
• 다양한 길이로 인해 인간이 애너테이션한 요약이 필요 없이도 요약의 분량을 세밀하게 제어할 수 있도록 하는 것.
• 산산이 흩어진 정보, 경계 탐지, 대화자 간 상호작용 모델링과 같은 대화 요약의 과제를 해결하는 것.
• 사실적으로 일관되고 정보가 풍부한 요약을 생성하면서도 해석 가능성과 제어 가능성을 유지하는 방법을 개발하는 것.
• 자동 평가와 인간 평가를 병행하여 기존에 가장 큰 대화 요약 데이터셋인 SAMSum에서 모델을 평가하는 것.

제안 방법

• 모델는 두 단계 생성 전략을 사용한다: 첫 번째로 구성문법 분석기를 활용해 각 대화 턴에서 의문사 카테고리와 핵심 어휘를 추출하여 요약 초안을 생성한다.
• 요약 초안은 약한 지도 신호 역할을 하며, BART-xsum 기반 생성기의 최종 개괄적 요약 생성을 조건화한다.
• 텍스트 스펙트럼 기반 조건부 생성 메커니즘이 도입되어 대화의 세그먼트 경계를 예측함으로써 요약 문장의 수를 제어한다.
• 모델는 대화를 맥락 스펙트럼으로 분할하며, 각 스펙트럼은 하나의 요약 문장에 대응하여, 다양한 길이의 참조 요약이 필요 없이 길이 제어를 가능하게 한다.
• 이 방법은 디노이징 목적으로 사전 훈련된 BART-xsum을 파인튜닝하여 개괄적 요약에 적합하게 만들며, 추가로 XSUM에서 파인튜닝한다.
• 조건부 생성 설정을 사용하여 모델은 각 분할된 대화 스펙트럼에서 한 문장씩 생성함으로써, 더 높은 해석 가능성과 제어 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 구문 분석에서 유도된 약한 지도 신호를 가진 요약 초안이 개괄적 대화 요약 품질을 향상시킬 수 있는가?
• RQ2 스펙트럼 기반 조건부 생성 메커니즘이 다수의 다양한 분량으로 애너테이션된 요약이 필요 없이 요약 길이를 제어할 수 있는가?
• RQ3 기존 방법과 비교해 사실 일관성과 정보성 면에서 모델의 성능은 어떠한가?
• RQ4 요약 초안 지도 신호가 다양한 대화 턴에 걸쳐 산산이 흩어진 핵심 정보를 효과적으로 파악하고 표현하는 데 얼마나 기여하는가?
• RQ5 다양한 대화 주제와 길이에 걸쳐 일반화할 수 있으며, 높은 ROUGE 점수와 인간 평가 성능을 유지할 수 있는가?

주요 결과

• CODS는 SAMSum 데이터셋에서 최신 기술 수준의 ROUGE-L 점수 50.79를 기록하여 이전 방법들을 능가한다.
• 모델는 강력한 인간 평가 결과를 보이며, 특히 제어 가능한 설정에서 사실적으로 일관되고 정보가 풍부한 요약을 생성한다.
• 요약 초안의 사용은 다양한 대화자와 대화 턴에 걸쳐 핵심 정보를 효과적으로 파악하고 표현하는 데 모델의 능력을 향상시킨다.
• 스펙트럼 기반 길이 제어 메커니즘은 다수의 애너테이션된 요약이 필요 없이도 자동이고 해석 가능한 요약 분량 제어를 가능하게 한다.
• 사례 연구 결과, 핵심 어휘 추출만으로는 실패할 수 있는 상황에서도 모델이 중요한 내용을 효과적으로 강조하고 핵심 사실을 누락하지 않는다는 것이 확인되었다.
• CODS는 Chen과 Yang(2020)의 방법보다 SAMSum에서 ROUGE 점수 3점 향상하여 더 나은 특징 활용 능력을 보임을 시사한다.