[논문 리뷰] Summarizing Situational and Topical Information During Crises

Koustav Rudra, Siddhartha Banerjee외 4명|arXiv (Cornell University)|2016. 10. 05.

Public Relations and Crisis Communication참고 문헌 18인용 수 12

한 줄 요약

이 논문은 재난 관련 트윗의 개괄적 요약을 생성하기 위한 이중 단계 프레임워크를 제안한다. 이 프레임워크는 ILP 기반 트윗 선별과 단어 그래프, 개념-사건 군집화를 조합하여 상황 인식 및 주제별 하위 문제에 대한 간결하고 정보성 있는 요약을 생성한다. 이 방법은 주제 어휘 식별에서 95%의 정밀도를 달성하여 기준선보다 유의하게 뛰어나며, 재난 대응 응용 분야에서 사용자 평가에서도 뛰어난 유용성을 보였다.

ABSTRACT

The use of microblogging platforms such as Twitter during crises has become widespread. More importantly, information disseminated by affected people contains useful information like reports of missing and found people, requests for urgent needs etc. For rapid crisis response, humanitarian organizations look for situational awareness information to understand and assess the severity of the crisis. In this paper, we present a novel framework (i) to generate abstractive summaries useful for situational awareness, and (ii) to capture sub-topics and present a short informative summary for each of these topics. A summary is generated using a two stage framework that first extracts a set of important tweets from the whole set of information through an Integer-linear programming (ILP) based optimization technique and then follows a word graph and concept event based abstractive summarization technique to produce the final summary. High accuracies obtained for all the tasks show the effectiveness of the proposed framework.

연구 동기 및 목표

• 재난 기간 동안 높은 볼륨의 비공식적 재난 관련 트윗에서 실질적인 상황 인식 정보를 추출하는 데 도전하는 데 목적을 두며.
• 추출 기반 방법보다 정보 커버리지와 가독성이 뛰어난 간결한 개괄적 요약을 생성하는 데 목적을 두며.
• 예를 들어 인프라 피해, 실종자 등 재난 카테고리 내 하위 주제를 식별하고 요약하여 대응 계획의 타겟팅을 가능하게 하는 데 목적을 두며.
• 사용자 평가를 통해 실재 재난 상황에서 주제 탐지 및 요약의 유용성과 정확도를 평가하는 데 목적을 두며.
• 인도구호 조직이 재난 심각도와 자원 수요를 신속히 평가할 수 있도록 확장 가능하고 실시간으로 작동하는 시스템을 제공하는 데 목적을 두며.

제안 방법

• 이중 단계 요약 파이프라인: 첫 번째 단계에서 ILP 기반 최적화 기법을 사용해 재난 데이터셋에서 가장 정보성 있는 트윗을 선별한다.
• 두 번째 단계에서 단어 그래프와 개념-사건 군집화 접근법을 사용해 의미적으로 유사한 내용을 그룹화하여 개괄적 요약을 가능하게 한다.
• 의미적 유사도를 기반으로 내용어(명사, 동사, 수사, 위치)를 추출하고 군집화하여 커버리지 향상과 중복 감소를 도모한다.
• 주제어어는 이벤트와의 매칭을 통해 식별되며, 윈도우 기반 유사도 점수 계산 방법(식 (5))을 사용한다.
• 각 주제어어와 일치하는 트윗에 대해 추출 기반 요약을 적용하여 하위 주제별로 짧고 정보성 있는 요약을 생성한다.
• 전문가 평가와 커스터마이징된 사용자 연구를 통해 기준선(LDA 기반)과의 성능 비교를 수행한다.

실험 결과

연구 질문

• RQ1 비공식적 실시간 언어에서 정보 커버리지와 가독성을 향상시키기 위해 재난 트윗의 개괄적 요약을 어떻게 개선할 수 있는가?
• RQ2 ILP 기반 트윗 선별 방법이 상황 인식을 위한 가장 관련성 있는 메시지를 식별하는 데 얼마나 효과적인가?
• RQ3 단어 그래프에서 유도된 개념 및 사고 군집화가 재난 요약의 품질과 통일성 향상에 기여하는가?
• RQ4 제안된 주제 탐지 방법은 재난 대응에 있어 정밀도와 관련성 측면에서 기준선 대비 어떻게 비교되는가?
• RQ5 사용자들은 제안된 주제 요약이 LDA 기반 방법에 비해 더 유용하고 중복이 적다고 얼마나 느끼는가?

주요 결과

• 제안된 프레임워크는 주제어어 식별에서 95%의 정밀도를 달성하여 기준선 방법의 72% 정밀도보다 유의미하게 뛰어나다.
• 사용자 연구에서 제안된 방법은 주제 관련성과 关련 키워드의 유용성 측면에서 9개의 경우 중 6개에서 LDA 기반 기준선보다 높은 평가를 받았다.
• 커스터마이징된 평가에서 제안된 방법은 상황 인식 능력 향상, 중복 감소, 의미적 의미의 명확성 측면에서 뛰어난 성능을 보였다.
• 개괄적 요약 기법은 내용어와 의미 군집을 효과적으로 통합하여 추출 기반 방법만으로는 달성하기 어려운 더 간결하고 정보성 있는 요약을 생성했다.
• 이 프레임워크에 의해 가능해진 주제별 요약은 항공기 운항 계획 수립이나 재난 기간 중 물자 조정 지원과 같은 이해관계자에게 매우 유용한 것으로 평가되었다.
• 시스템의 이중 단계 설계는 재난 대응 상황에서 커버리지, 통일성, 실시간 적용 가능성 사이의 균형을 효과적으로 달성했다.