[논문 리뷰] Cross-Lingual Query-Based Summarization of Crisis-Related Social Media: An Abstractive Approach Using Transformers

Fedor Vitiugin, Carlos Castillo|arXiv (Cornell University)|2022. 04. 21.

Public Relations and Crisis Communication인용 수 5

한 줄 요약

이 논문은 다국어 크리시스 관련 소셜 미디어를 대상으로 다국어 기반, 질의 기반 개괄 요약 프레임워크인 CLiQS-D-CM을 제안한다. 다국어 트랜스포머를 사용하여, LASER 임베딩을 활용해 다국어 간 검색을 수행하고, T5를 사용해 개괄 요약을 생성함으로써, 다국어 크리시스 게시물에서 고품질이고 논리적인 요약문을 영어로 생성한다. 평가 결과, 응급 대응 전문가들이 이 요약문을 최첨단 기술보다 56–64%의 경우에서 선호하였으며, 요약의 집중도, 체계성 향상 및 중복 감소가 확인되었다.

ABSTRACT

Relevant and timely information collected from social media during crises can be an invaluable resource for emergency management. However, extracting this information remains a challenging task, particularly when dealing with social media postings in multiple languages. This work proposes a cross-lingual method for retrieving and summarizing crisis-relevant information from social media postings. We describe a uniform way of expressing various information needs through structured queries and a way of creating summaries answering those information needs. The method is based on multilingual transformers embeddings. Queries are written in one of the languages supported by the embeddings, and the extracted sentences can be in any of the other languages supported. Abstractive summaries are created by transformers. The evaluation, done by crowdsourcing evaluators and emergency management experts, and carried out on collections extracted from Twitter during five large-scale disasters spanning ten languages, shows the flexibility of our approach. The generated summaries are regarded as more focused, structured, and coherent than existing state-of-the-art methods, and experts compare them favorably against summaries created by existing, state-of-the-art methods.

연구 동기 및 목표

• 대규모 재난 발생 시 소셜 미디어에서 다국어 크리시스 관련 정보를 추출하고 요약하는 데 도전하는 것.
• 언어별 리소스가 필요 없이 여러 언어에서 정보 요구를 지원할 수 있는 유연하고 질의 기반의 방법을 개발하는 것.
• 응급 관리에 유용한, 개괄적이고 논리적이며 중복이 없는 요약문을 생성하는 것.
• 현장 응급 관리 전문가와의 평가를 통해 실용성과 품질을 보장하는 방법을 평가하는 것.

제안 방법

• 한 언어(예: 영어)로 작성된 구조적 질의를 사용하여, 다국어 문장 임베딩(LASER)을 통해 다국어로 된 크리시스 관련 소셜 미디어 게시물을 검색한다.
• 관련 메시지는 자연어 처리 기법을 사용해 군집화하고 다양화하여 중복을 줄이고 정보 커버리지를 향상시킨다.
• 크리시스 관련 콘텐츠로 미세조정된 T5 트랜스포머 모델을 사용해 개괄 요약문을 생성한다.
• 시스템은 다국어 요약을 지원한다: 질의는 한 언어로 이루어지지만, 추출된 문장과 요약문은 지원되는 언어 중 어느 언어로든 가능하다.
• 문장 임베딩(LASER)을 통해 93개 언어 간 제로샷 다국어 매칭이 가능하며, 품사 태깅 및 의존성 분석은 50개 언어로 제한된다.
• 이 방법은 모듈러하고 확장 가능하여, 페이스북, 레딧 등의 다른 플랫폼과의 통합 및 향후 다국어 질의, 지리정보 기반 요약 지원이 가능하다.

Figure 1: Overview of our cross-lingual information summarization framework.

실험 결과

연구 질문

• RQ1 다국어 임베딩을 사용하여 질의 기반의 다국어 간 검색이 다국어 소셜 미디어 콘텐츠를 효과적으로 검색할 수 있는가?
• RQ2 T5로 생성된 개괄 요약문은 최첨단 기술 대비 논리성, 집중도, 정보성 측면에서 얼마나 우수한가?
• RQ3 응급 관리 전문가들이 이 방법으로 생성된 요약문을 존재하는 최첨단 시스템의 요약문보다 선호하는가?
• RQ4 이 방법은 크리시스 요약문의 중복을 어느 정도 줄이고 정보 밀도를 향상시키는가?
• RQ5 다양한 재난 사건과 언어 간 성능은 어떻게 달라지며, 특히 자원이 부족하거나 다국어 환경에서 어떻게 영향을 받는가?

주요 결과

• 응급 관리 전문가들이 CLiQS-D-CM가 생성한 요약문을 Nafi 대비 63.6%의 경우, LSTM+LASER+T5 대비 55.8%의 경우에서 선호하였다.
• 전문가들은 CLiQS-D-CM 요약문이 더 정확하고 체계적으로 구성되어 있으며, 반복적이지 않고 사실 오류가 적다고 평가했다.
• 이 방법은 더 높은 논리성과 집중도를 달성했으며, 평가자들은 기준 방법 대비 개선된 체계성과 명확성을 지적했다.
• 자그레브 지진 사건에서는 성능이 낮아, 자원이 부족하거나 덜 커버된 언어 환경에서의 잠재적 과제가 드러났다.
• 현장 평가 결과, CLiQS-D-CM 요약문은 기존 접근 방식 대비 정보성, 체계성, 가독성 측면에서 더 높은 평가를 받았다.
• 시스템은 강력한 다국어 일반화 능력을 보였으며, 다섯 가지 주요 재난 사례에서 열 개의 언어 콘텐츠를 성공적으로 요약하였다.

Figure 2: Combining the transformer embeddings with morphological, syntactic, message-specific features and query similarity features using deep MLP