[논문 리뷰] Abstractive Dialog Summarization with Semantic Scaffolds

Lin Yuan, Yu Zhou|arXiv (Cornell University)|2019. 10. 02.

Topic Modeling참고 문헌 34인용 수 16

한 줄 요약

이 논문은 대화의 요약 품질을 햖थ기 위해 발화자 역할, 의미적 슬롯, 대화 도메인을 의미적 기초로 활용하는 새로운 개괄적 대화 요약 모델인 Scaffold Pointer Network (SPNet)을 소개한다. SPNet은 MultiWOZ에서 파생된 새로운 데이터셋을 사용하여 자동 평가 및 인간 평가 지표에서 최신 기술을 초월한다.

ABSTRACT

The demand for abstractive dialog summary is growing in real-world applications. For example, customer service center or hospitals would like to summarize customer service interaction and doctor-patient interaction. However, few researchers explored abstractive summarization on dialogs due to the lack of suitable datasets. We propose an abstractive dialog summarization dataset based on MultiWOZ. If we directly apply previous state-of-the-art document summarization methods on dialogs, there are two significant drawbacks: the informative entities such as restaurant names are difficult to preserve, and the contents from different dialog domains are sometimes mismatched. To address these two drawbacks, we propose Scaffold Pointer Network (SPNet)to utilize the existing annotation on speaker role, semantic slot and dialog domain. SPNet incorporates these semantic scaffolds for dialog summarization. Since ROUGE cannot capture the two drawbacks mentioned, we also propose a new evaluation metric that considers critical informative entities in the text. On MultiWOZ, our proposed SPNet outperforms state-of-the-art abstractive summarization methods on all the automatic and human evaluation metrics.

연구 동기 및 목표

• MultiWOZ 기반으로 새로운 데이터셋을 구축하여 고품질의 개괄적 대화 요약 데이터셋 부족 문제를 해결한다.
• 뉴스 중심의 개괄적 모델을 대화에 적용할 때 발생하는 문제, 예를 들어 실체 보존 부족 및 도메인 불일치 문제를 해결한다.
• 발화자 역할, 의미적 슬롯, 대화 도메인과 같은 구조적 의미적 기초를 통합하여 개괄적 요약 품질을 향상시킨다.
• ROUGE를 초월하여 의미적 슬롯의 관련성을 더 잘 반영하는 새로운 자동 평가 지표인 CIC를 제안한다.
• 의미적 기초가 다중 턴, 다중 도메인 대화에서 요약 품질을 크게 향상시킨다는 것을 입증한다.

제안 방법

• 다른 발화자 역할에 대해 별도의 인코더를 갖춘 어텐션 기반 Seq2Seq 프레임워크를 적응하여 발화자별 의미를 모델링한다.
• 디델리컬라이제이션된 발화를 디코딩 중에 사용하고, 포인터 메커니즘을 통해 슬롯 값을 주입하여 레스토랑 이름과 같은 핵심 실체를 보존한다.
• 요약과 함께 대화 도메인 분류를 공동 최적화하여 도메인 인식 생성을 향상시킨다.
• 생성된 요약의 반복을 줄이기 위해 커버리지 메커니즘을 통합한다.
• 요약에 포함된 핵심 의미적 슬롯의 관련성을 측정하는 새로운 자동 평가 지표인 CIC(Critical Information Coverage)을 제안한다.
• SPNet을 MultiWOZ에서 새롭게 구축한 개괄적 대화 요약 데이터셋에 대해 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 발화자 역할, 의미적 슬롯, 대화 도메인 기초를 통합함으로써 개괄적 대화 요약 품질이 크게 향상되는가?
• RQ2 자동 평가 및 인간 평가 모두에서 Pointer-Generator 및 Transformer와 같은 강력한 베이스라인과 비교할 때 SPNet은 어떻게 성능을 내는가?
• RQ3 제안된 CIC 지표가 ROUGE에 비해 요약 품질을 더 잘 반영하는가? 특히 핵심 실체 보존 측면에서 어느 정도 향상되는가?
• RQ4 일반화된 발화자 모델과 비교할 때 의미적 기초를 사용함으로써 반복성과 일관성 부족이 줄어드는가?
• RQ5 이름이 지정된 실체와 같은 의미적 기초를 뉴스나 회의 요약과 같은 다른 요약 작업에 재사용할 수 있는가?

주요 결과

• SPNet은 ROUGE 및 제안된 CIC 지표를 포함한 모든 자동 평가 지표에서 Pointer-Generator 및 Transformer를 앞서나간다.
• 인간 평가에서 SPNet은 관련성(3.77 vs. 3.56), 난이도(3.80 vs. 3.64), 간결성(3.67 vs. 3.58) 측면에서 Pointer-Generator보다 높은 점수를 받았으며, 대응 t-검정에서 p-값이 0.005 이하였다.
• SPNet은 Pointer-Generator와의 페어워이즈 순위 비교에서 61.3%에서 승리했고, 패배는 30.3%에 그쳐 강력한 인간 선호도를 보였다.
• 모델은 발화자별 컨텍스트를 모델링함으로써 반복성과 일관성 부족을 크게 줄였다. 예를 들어 '무료 와이파이'를 여러 번 언급하는 것을 방지했다.
• 기본 모델들이 종종 생략하는 핵심 실체, 예를 들어 '6명, 일요일, 18:45'와 같은 레스토랑 예약 정보를 SPNet이 더 잘 보존했다.
• 비록 지도 학습 기반임에도 불구하고, SPNet은 참조 요약에 포함되지 않은 정확한 정보를 종종 생성함으로써 지표를 초월한 일반화 능력을 보였다.