[논문 리뷰] DialogSum: A Real-Life Scenario Dialogue Summarization Dataset

Yulong Chen, Yang Liu외 2명|arXiv (Cornell University)|2021. 05. 14.

Topic Modeling참고 문헌 36인용 수 14

한 줄 요약

이 논문은 쇼핑, 의료 상담, 비즈니스 협상과 같은 다양한 일상적 맥락의 13,460개의 대화를 포함하는 대규모 실생활 대화 요약 데이터셋인 DialogSum을 소개한다. 이 데이터셋은 신경망 요약 모델의 훈련과 평가를 가능하게 하며, 대화의 흐름, 공명사, 생략, 의도적 맥락과 같은 고유한 과제를 드러내며, 기존 벤치마크인 SAMSum과 AMI에 비해 더 높은 개재적 요약 성능을 보인다.

ABSTRACT

Proposal of large-scale datasets has facilitated research on deep neural models for news summarization. Deep learning can also be potentially useful for spoken dialogue summarization, which can benefit a range of real-life scenarios including customer service management and medication tracking. To this end, we propose DialogSum, a large-scale labeled dialogue summarization dataset. We conduct empirical analysis on DialogSum using state-of-the-art neural summarizers. Experimental results show unique challenges in dialogue summarization, such as spoken terms, special discourse structures, coreferences and ellipsis, pragmatics and social common sense, which require specific representation learning technologies to better deal with.

연구 동기 및 목표

• 요약 연구를 위한 대규모 실생활 대화 데이터셋의 부족을 해결하기 위해.
• 의료 상담, 고객 서비스, 사회적 상호작용과 같은 일상적 상황에서 유래한 다각적이고 대표적인 다단계 대화 데이터셋을 제공하기 위해.
• written 또는 온라인 채팅 대화와는 구조적·언어적 특성에서 상당히 다름에도 불구하고, 대화 요약 모델의 실증적 평가를 가능하게 하기 위해.
• 대화의 흐름, 공명사, 생략, 의도적 추론과 같은 고유한 과제를 식별하고 특성화하기 위해.
• 내용 요약을 넘어서 대화 행동과 의도를 포괄하는 대화 요약 모델 개발을 지원하기 위해.

제안 방법

• 데이터셋은 DailyDialog, DREAM, MuTual 세 개의 공공 코퍼스와 영어 학습 웹사이트(tingroom.com)의 데이터를 통합하고 전처리하여 구성되었다.
• 대화는 정제되고 통일된 형식으로 정렬되었으며, 주제는 수동으로 주석 처리되었고, 훈련된 주석자들이 관찰자 시점에서 요약문을 생성하였다.
• 주석 품질은 훈련, 급여 지급, 시간 기록을 포함한 체계적인 주석 파이프라인을 통해 확보되었으며, 일관성과 공정성을 유지하였다.
• 데이터셋에는 평균 131토큰의 대화 13,460개가 포함되어 있으며, SAMSum(94토큰)보다 훨씬 길고, 기존 데이터셋보다 주제와 상황 면에서 더 다양하다.
• 표준 개재적 및 추출적 기반 모델(리드 문장 및 가장 긴 문장 기반 모델 포함)을 사용하여 DialogSum에서 신경망 요약 모델의 성능을 평가하여 요약 행동을 분석하였다.
• 대화의 흐름과 의도적 분석을 통해 비선형적 정보 흐름, 끼어들기, 암묵적 의도와 같은 과제를 규명하였으며, 이는 모델 성능에 영향을 미친다.

실험 결과

연구 질문

• RQ1 최신 신경망 요약 모델의 성능은 뉴스나 온라인 채팅 데이터셋과 비교해 실생활 대화에서 어떻게 다를까?
• RQ2 대화 요약에서 대화의 흐름, 공명사, 생략 등과 같은 고유한 언어적·구조적 과제는 무엇인가?
• RQ3 의도적 및 사회적 일반 지식 신호가 대화 요약에 얼마나 영향을 미치며, 이는 모델 일반화에 어떤 영향을 미치는가?
• RQ4 대화에서 정보의 산재가 추출적 요약 전략(예: 리드 문장)의 효과성에 어떤 영향을 미치는가?
• RQ5 DialogSum과 기존 벤치마크인 SAMSum 및 AMI 간 요약 행동의 주요 차이는 무엇인가?

주요 결과

• DialogSum는 추출 기반 기반 모델보다 개재적 요약 모델에 더 적합함을 보여주며, 대화 요약은 단순한 추출을 넘어서 깊은 의미 이해가 필요함을 시사한다.
• 리드 문장 기반 모델은 DialogSum에서 가장 긴 문장 기반 모델보다 3% 이상 성능이 뛰어나, 핵심 정보가 일반적으로 대화 초반에 위치해 있음을 시사하며, 이는 written 또는 온라인 채팅과는 다름을 보여준다.
• 공명사와 생략은 빈번하고 도전적인 문제로, '내 청구서' 같은 표현이 다른 화자의 계정을 가리키는 경우 정확한 요약을 생성하기 위해 참조를 정확히 해결해야 한다.
• ‘여기 드려요’ 또는 ‘안녕히 가세요’와 같은 의도적 신호는 ‘결제를 하다’ 또는 ‘계산을 하다’와 같은 암묵적 행동을 담고 있어, 의미적 추론이 필요하다.
• 실생활 대화의 대화 흐름은 독백이나 written 대화보다 더 복잡하고 비선형적이며, 핵심 정보가 대화 턴들 사이에 산재해 있어 인코딩을 어렵게 한다.
• 이 데이터셋의 평균 대화 길이(131토큰)는 SAMSum의 94토큰보다 39.8% 더 길며, 대화 요약을 위한 더 큰 크기의 강력한 신경망 모델 훈련을 지원한다.