[논문 리뷰] GupShup: An Annotated Corpus for Abstractive Summarization of Open-Domain Code-Switched Conversations

Laiba Mehnaz, Debanjan Mahata외 8명|arXiv (Cornell University)|2021. 04. 17.

Natural Language Processing Techniques참고 문헌 49인용 수 8

한 줄 요약

이 논문은 6,800개 이상의 대화를 포함하며 인간이 애너테이션한 영어 및 히누어-영어 요약문을 제공하는, 개방 도메인 히누어-영어 혼용 대화에 대한 개괄적 요약의 첫 번째 대규모 애너테이션된 코퍼스인 GupShup을 소개한다. 다국어 mBART와 다중 시각 시퀀스-투-시퀀스 모델이 영어 요약 생성에서 최고의 성능을 보였지만, 히누어-영어 요약에서는 성능이 크게 떨어져 현재 모델들이 혼용 텍스트 이해에 있어 심각한 격차를 보이고 있음을 시사한다.

ABSTRACT

Code-switching is the communication phenomenon where speakers switch between different languages during a conversation. With the widespread adoption of conversational agents and chat platforms, code-switching has become an integral part of written conversations in many multi-lingual communities worldwide. This makes it essential to develop techniques for summarizing and understanding these conversations. Towards this objective, we introduce abstractive summarization of Hindi-English code-switched conversations and develop the first code-switched conversation summarization dataset - GupShup, which contains over 6,831 conversations in Hindi-English and their corresponding human-annotated summaries in English and Hindi-English. We present a detailed account of the entire data collection and annotation processes. We analyze the dataset using various code-switching statistics. We train state-of-the-art abstractive summarization models and report their performances using both automated metrics and human evaluation. Our results show that multi-lingual mBART and multi-view seq2seq models obtain the best performances on the new dataset

연구 동기 및 목표

• 실제 채팅 애플리케이션에서의 혼용 대화에 대한 개괄적 요약을 위한 고품질의 다국어 데이터셋 부족 문제를 해결하기 위해.
• 영어 및 히누어-영어 요약문이 함께 제공된 대규모의 인간 애너테이션된 히누어-영어 혼용 대화 데이터셋을 구축하기 위해.
• 최신 기술의 개괄적 요약 모델을 혼용 텍스트에 대해 평가하고, 자동 평가 지표와 인간 평가 지표를 모두 사용하여 성능을 분석하기 위해.
• 특히 요약 작업에서 혼용 현상이 NLP에 미치는 과제를 조사하고, 혼합 언어 입력을 다룰 때 모델의 한계를 규명하기 위해.
• 향후 다국어 및 혼용 대화 이해 및 요약 분야의 연구를 위한 기준으로 GupShup을 확립하기 위해.

제안 방법

• 단일 언어 SAMSum 코퍼스의 일부 대화와 요약문을 히누어-영어로 수동으로 번역하여 자연스러운 혼용 패턴을 유지한 채로 데이터셋을 구성하였다.
• 언어 다양성과 일관성을 확보하기 위해 다수의 애너테이터를 활용한 데이터 수집 절차를 실시하였으며, 요약 및 혼용에 대한 엄격한 지침을 수립하였다.
• 최종 코퍼스는 6,831개의 대화(76,330개의 발화)를 포함하며, 병렬로 제공되는 영어 요약문과 히누어-영어 요약문을 포함하여 병렬 단일 언어 및 혼용 코퍼스를 형성하였다.
• 최신 기술의 개괄적 요약 모델들—mBART, PEGASUS, BART, 다중 시각 시퀀스-투-시퀀스 모델—을 영어 요약문에 대해 미세 조정하고, 자동 평가 지표(ROUGE, BLEURT)와 인간 평가를 통해 평가하였다.
• 100개의 무작위로 추출된 요약문을 대상으로 인간 평가를 실시하였으며, 일관성, 일관성, 유창성, 관련성의 네 가지 기준에 따라 1~5점 척도로 평가하였다.
• 자동 평가 지표와 인간 평가 간의 스피어만 상관계수를 계산하여 ROUGE 및 BLEURT와 같은 지표가 혼용 요약에 대해 신뢰할 수 있는지 검증하였다.

실험 결과

연구 질문

• RQ1 기존의 개괄적 요약 모델들은 히누어-영어 혼용 대화의 요약 생성에 얼마나 효과적인가?
• RQ2 특히 히누어-영어 요약 생성 시, 단일 언어 요약과 혼용 요약 간의 성능 격차는 어느 정도인가?
• RQ3 혼용 요약 맥락에서 인간 평가와 가장 잘 상관관계를 보이는 자동 평가 지표는 무엇인가?
• RQ4 다중 작업 학습 또는 다중 시각 모델링이 혼용 데이터에 대한 요약 성능 향상에 기여할 수 있는가?
• RQ5 mBART와 같은 다국어 모델은 단일 언어 모델에 비해 혼용 입력을 어떻게 처리하는가?

주요 결과

• 다국어 mBART와 다중 시각 시퀀스-투-시퀀스 모델이 영어 요약 생성에서 가장 높은 성능을 기록하였으며, 자동 평가 및 인간 평가 모두에서 다른 모델들을 앞섰다.
• 히누어-영어 요약 생성 시 성능이 크게 떨어졌으며, 모든 모델에서 뚜렷한 성능 저하가 관찰되어 모델이 혼용 텍스트에 대해 일반화하는 데 어려움을 겪고 있음을 시사한다.
• mBART는 25개 언어로 미리 훈련되었음에도 불구하고, 영어 요약보다 히누어-영어 요약에서 성능이 열 劣하므로 다국어 강건성에 대한 기대와는 반대로 작용하였다.
• BLEURT와 재현율 기반 지표(예: ROUGE)가 인간 평가와 가장 강한 상관관계를 보였으며, 이는 혼용 요약 평가에 있어 이들 지표의 신뢰성을 시사한다.
• 인간 평가 결과, 다중 시각 및 PEGASUS 모델이 일관성과 구조적 품질에서 가장 높은 점수를 기록하였고, mBART와 다중 시각 모델은 사실적 일관성과 관련성에서 뛰어난 성능을 보였다.
• 이 데이터셋은 74,798개의 문장 쌍으로 이루어진 병렬 단일 언어 및 혼용 코퍼스를 제공하여 향후 혼용 NLP 분야의 번역 및 데이터 증강 연구에 기여할 수 있다.