[논문 리뷰] TODSum: Task-Oriented Dialogue Summarization with State Tracking

Lulu Zhao, Fujia Zheng외 8명|arXiv (Cornell University)|2021. 10. 25.

Topic Modeling참고 문헌 39인용 수 7

한 줄 요약

이 논문은 사실적 일致성 향상을 위해 구조화된 대화 상태 추적 기능을 갖춘 대규모 공개 작업 지향 대화 요약 데이터셋인 TODSum을 소개한다. 이는 대화 기록과 상태 정보를 대화 상태 인코더와 교차 어텐션 메커니즘을 통해 통합하는 상태 인식형 구조화된 대화 요약 모델을 제안하여 기존 기준 모델 대비 사실적 충실도와 요약 품질을 크게 향상시킨다.

ABSTRACT

Previous dialogue summarization datasets mainly focus on open-domain chitchat dialogues, while summarization datasets for the broadly used task-oriented dialogue haven't been explored yet. Automatically summarizing such task-oriented dialogues can help a business collect and review needs to improve the service. Besides, previous datasets pay more attention to generate good summaries with higher ROUGE scores, but they hardly understand the structured information of dialogues and ignore the factuality of summaries. In this paper, we introduce a large-scale public Task-Oriented Dialogue Summarization dataset, TODSum, which aims to summarize the key points of the agent completing certain tasks with the user. Compared to existing work, TODSum suffers from severe scattered information issues and requires strict factual consistency, which makes it hard to directly apply recent dialogue summarization models. Therefore, we introduce additional dialogue state knowledge for TODSum to enhance the faithfulness of generated summaries. We hope a better understanding of conversational content helps summarization models generate concise and coherent summaries. Meanwhile, we establish a comprehensive benchmark for TODSum and propose a state-aware structured dialogue summarization model to integrate dialogue state information and dialogue history. Exhaustive experiments and qualitative analysis prove the effectiveness of dialogue structure guidance. Finally, we discuss the current issues of TODSum and potential development directions for future work.

연구 동기 및 목표

• 실제 응용 분야에서 널리 사용되는 작업 지향 대화(TOD)를 위한 공개적으로 이용 가능한 대규모 대화 요약 데이터셋의 부족을 해결하기 위해.
• ROUGE 점수에 집중하는 기존 요약 데이터셋이 의도 및 슬롯과 같은 구조화된 대화 정보를 忽시하는 한계를 극복하기 위해.
• 협상, 반복, 다중 도메인 상호작용 등에서 사실적 일치성을 향상시키기 위해 대화 상태 지식을 통합함으로써 생성된 요약의 사실적 충실도를 향상시키기 위해.
• 순수한 유창성 외에도 충실도, 일관성, 정보성에 중점을 둔 종합적인 대화 요약 기준을 구축하기 위해.
• 구조화된 대화 상태를 활용하여 개재적 요약을 안내하고 사실 오류를 줄이기 위한 상태 인식형 모델을 개발하기 위해.

제안 방법

• 의도 및 슬롯 정보를 포함한 구조화된 대화 상태가 주석 처리된 대규모 공개 작업 지향 대화 요약 데이터셋인 TODSum을 제안한다.
• 다중 턴 대화에서 구조화된 대화 상태 특징을 효과적으로 표현하기 위한 새로운 대화 상태 인코더를 도입한다.
• 디코더가 관련 대화 상태와 기록에 주의를 기울일 수 있도록 유도하는 기반 대화 상태 교차 어텐션 메커니즘을 설계한다.
• 대화 기록과 대화 상태를 동시에 인코딩하여 개재적 요약을 수행하는 상태 인식형 구조화된 대화 요약 모델을 개발한다.
• 협상 역학과 턴 간 의도 변화를 모델링하는 다중 턴 대화 이해 프레임워크를 구현한다.
• 대화 상태 일치를 기반으로 한 새로운 사실적 일치 평가 지표를 도입하여 요약의 충실도를 보다 정확히 평가한다.

실험 결과

연구 질문

• RQ1 어떻게 대화 상태 정보를 개재적 대화 요약에 효과적으로 통합하여 사실적 일치성을 향상시킬 수 있는가?
• RQ2 구조화된 대화 상태 안내가 생성된 요약에서 사실 오류와 중복을 어느 정도 줄일 수 있는가?
• RQ3 TODSum에서 학습한 모델이 호텔, 레스토랑, 택시 등 여러 도메인 간에 일반화되어 일관성과 정보성 유지가 가능한가?
• RQ4 제안된 상태 인식형 모델은 유창성, 정보성, 사실적 정확성 측면에서 강력한 기준 모델과 비교해 어떻게 성능을 냈는가?
• RQ5 현재 모델의 주요 실패 유형은 무엇이며, 보다 나은 구조 모델링을 통해 이를 어떻게 해결할 수 있는가?

주요 결과

• 제안된 상태 인식형 모델은 TODSum 벤치마크에서 사실적 일치성(4.12), 유창성(4.41), 정보성(4.36), 중복성(3.63) 측면에서 가장 높은 인간 평가 점수를 기록했다.
• BART 및 BART에 대화 상태 예측 기능을 추가한 모델과 비교해도 우수한 성능을 보였으며, BART 대비 사실적 일치성에서 0.83점 향상되었고, 예측된 상태를 사용한 BART 대비 0.84점 향상되었다.
• 인간 평가 결과, 모델는 대화 상태 정보를 효과적으로 활용하여 더 간결하고 일관성 있고 사실적으로 정확한 요약을 생성함을 확인했다.
• 오류 분석 결과, 특히 협상이 빈번한 대화에서 기준 모델 대비 정보 누락 및 추론 실패가 크게 감소한 것으로 나타났다.
• 모델는 여전히 중복 문제를 겪고 있으며, 금본 요약에 존재하지 않는 도메인과 의도를 과도하게 반복하여 표현함으로써 개선이 필요함을 시사한다. 이는 보다 나은 필터링 메커니즘이 필요함을 의미한다.
• 연구에서는 정보 누락, 턴 간 추론 부족, 중복이라는 세 가지 주요 오류 유형을 특정하였으며, 향후 연구의 핵심 과제를 명확히 하였다.