[논문 리뷰] CSDS: A Fine-Grained Chinese Dataset for Customer Service Dialogue Summarization

Haitao Lin, Liqun Ma외 5명|arXiv (Cornell University)|2021. 08. 30.

Topic Modeling참고 문헌 31인용 수 4

한 줄 요약

이 논문은 역할 중심 요약(사용자 및 에이전트 시점)과 주제 구조화된 요약을 제공하는 세분화된 중국어 고객 서비스 대화 데이터셋인 CSDS를 소개한다. 이는 더 정확하고 맥락 인식이 가능한 대화 요약을 가능하게 한다. 실험 결과 기존 방법들이 주제 구조와 역할별 콘텐츠를 잘 다루지 못함을 보여주며, QA 쌍 일치 정확도가 오직 20%에 불과하여 향후 모델 및 평가 지표 개선의 필요성을 시사한다.

ABSTRACT

Dialogue summarization has drawn much attention recently. Especially in the customer service domain, agents could use dialogue summaries to help boost their works by quickly knowing customer's issues and service progress. These applications require summaries to contain the perspective of a single speaker and have a clear topic flow structure, while neither are available in existing datasets. Therefore, in this paper, we introduce a novel Chinese dataset for Customer Service Dialogue Summarization (CSDS). CSDS improves the abstractive summaries in two aspects: (1) In addition to the overall summary for the whole dialogue, role-oriented summaries are also provided to acquire different speakers' viewpoints. (2) All the summaries sum up each topic separately, thus containing the topic-level structure of the dialogue. We define tasks in CSDS as generating the overall summary and different role-oriented summaries for a given dialogue. Next, we compare various summarization methods on CSDS, and experiment results show that existing methods are prone to generate redundant and incoherent summaries. Besides, the performance becomes much worse when analyzing the performance on role-oriented summaries and topic structures. We hope that this study could benchmark Chinese dialogue summarization and benefit further studies.

연구 동기 및 목표

• 기존 데이터셋에서 대화 특화 요약 기능(예: 발화자 역할 시점 및 주제 수준의 구조)의 부족을 해결하기 위해.
• 추출형 및 개괄형 요약 작업을 모두 지원하는 대규모 고품질 중국어 대화 요약 데이터셋을 구축하기 위해.
• 역할 중심 및 주제 구조화된 요약 작업에 대한 대화 요약 모델의 벤치마킹을 가능하게 하기 위해.
• 현재 요약 방법의 주요 과제, 특히 주제 구조 유지 및 중복 회피 문제를 규명하기 위해.
• 요약의 구조적 일致성과 사실적 일致성 평가를 향상시키기 위해 QA 쌍 일치 기반의 새로운 평가 지표를 개발하기 위해.

제안 방법

• 주석자들이 대화를 주제 기반 단위로 분할하고, 각 단위에 대해 QA 쌍(사용자 질문 요약, 에이전트 답변 요약)을 생성한다.
• 세 가지 유형의 요약을 구성한다: 전체 대화 요약, 사용자 중심 요약, 에이전트 중심 요약으로, QA 쌍을 빌딩 블록으로 사용한다.
• 핵심 정보를 제공하는 발화문을 추출형 요약으로 주석하여 개괄형 생성을 유도한다.
• 생성된 요약에서 정확히 일치하는 QA 쌍의 수를 평가하기 위해 ROUGE-L 기반의 근사적 매칭 알고리즘을 제안한다.
• 자동 평가 및 인위적 평가를 통한 분석을 바탕으로 추출형 및 개괄형 모델을 사용해 벤치마킹을 수행한다.
• 데이터셋은 익명화된 JDDC 데이터셋에서 유래되었으며, 상호 주석자 일치도 연구를 통한 엄격한 개인정보 보호 조치 및 품질 관리가 적용되었다.

실험 결과

연구 질문

• RQ1 기존 대화 요약 모델은 고객 서비스 대화의 주제 구조를 유지하면서 정확하고 중복이 없는 요약을 생성할 수 있는가?
• RQ2 전체 요약 대비 역할별 요약(사용자 vs. 에이전트 시점)에서 현재 모델의 성능은 어떠한가?
• RQ3 기존 방법이 대화 내에서 별개의 주제를 올바르게 분리하고 요약하는 데 얼마나 실패하는가?
• RQ4 제안된 QA 쌍 일치 평가 지표는 생성된 요약의 구조적 및 사실적 오류를 효과적으로 폭 드러내는가?
• RQ5 주석된 핵심 발화문 인덱스의 포함이 CSDS에서 개괄형 요약 모델의 성능 향상에 얼마나 기여하는가?

주요 결과

• 최고 성능 모델조차도 기준 QA 쌍 일치 정확도가 20%에 불과하여 주제 구조 유지에 심각한 어려움이 있음을 시사한다.
• QA 쌍 일치 정밀도는 최저 0.19에 머물러 있어 생성된 요약의 높은 수준의 중복과 내용 불일치를 드러낸다.
• 주제 수가 증가할수록 성능 저하가 심각하게 나타나, 다중 주제 대화 요약이 여전히 주요 과제임을 보여준다.
• 기존 개괄형 모델들은 주석된 핵심 발화문 인덱스에 의해 유도될 경우 성능 향상을 보이며, 향후 모델 설계에 유용한 요소임을 시사한다.
• 인간 평가 결과 생성된 요약이 특히 역할 중심 및 주제 구조화된 환경에서 비일관되거나 관련 없는 내용을 포함하고 있음을 확인했다.
• 제안된 QA 쌍 일치 평가 지표는 기존 ROUGE 점수로는 드러나지 않는 구조적 결함을 효과적으로 폭 드러내어 대화 요약에 더 신뢰할 수 있는 평가 기준을 제공한다.