[논문 리뷰] Mining Social Media for Newsgathering.

Arkaitz Zubiaga|arXiv (Cornell University)|2018. 04. 10.

Complex Network Analysis Techniques참고 문헌 103인용 수 2

한 줄 요약

이 논문은 뉴스 수집을 위한 소셜 미디어 활용을 위한 데이터 마이닝 및 자연어 처리(NLP) 기법을 조사하며, 일곱 가지 핵심 과제—사건 탐지, 요약, 뉴스 추천, 콘텐츠 검증, 소스 찾기, 대시보드, 기타 지원 과제—에 중점을 두고 있다. 실시간으로 신뢰할 수 있는 뉴스 보도를 향상시키기 위해 계산 기반 저널리즘 분야에서 현재의 과제와 향후 방향성을 밝혀낸다.

ABSTRACT

Social media is becoming an increasingly important data source for learning about and tracking breaking news. This is possible thanks to mobile devices connected to the Internet, which allow anyone to post updates from anywhere, leading in turn to a growing presence of citizen journalism. Consequently, social media has become a go-to resource for journalists during newsgathering. Use of social media for newsgathering is however challenging, and suitable tools are needed in order to facilitate access to useful information for reporting. In this paper, we provide an overview of research in data mining and natural language processing for mining social media for newsgathering. We discuss seven different tasks that researchers have worked on to mitigate the challenges inherent to social media newsgathering: event detection, summarisation, news recommenders, content verification, finding information sources, development of newsgathering dashboards and other tasks. We outline the progress made so far in the field, summarise the current challenges as well as discuss future directions in the use of computational journalism to assist with social media newsgathering. This survey paper is relevant to computer scientists researching news in social media as well as for interdisciplinary researchers interested in the intersection of computer science and journalism.

연구 동기 및 목표

• 시민 저널리즘과 실시간 사용자 업데이트의 증가로 인해 소셜 미디어에서 시의적절하고 정확한 뉴스를 추출하는 데 증가하는 과제를 해결하기 위해.
• 비정형 소셜 미디어 데이터의 막대한 양을 걸러내고 분석하는 데 뉴스 기자들이 활용할 수 있는 핵심 계산 과제를 식별하기 위해.
• 소셜 미디어를 활용한 뉴스 수집에 적용된 데이터 마이닝 및 NLP 분야의 기존 연구를 종합적으로 개관하여 격차와 향후 연구 기회를 부각하기 위해.
• 기술적 해결책을 저널리즘 워크플로우에 대응시키기 위해 컴퓨터 과학자와 뉴스 기자 간의 다학제적 협업을 촉진하기 위해.
• 뉴스 수집의 효율성과 신뢰성을 향상시키는 지능형 도구—예를 들어 대시보드와 추천 시스템—의 개발을 지원하기 위해.

제안 방법

• 소셜 미디어를 활용한 뉴스 수집 응용 분야에 초점을 맞춘 데이터 마이닝 및 자연어 처리(NLP) 분야의 기존 연구를 조사하기 위해.
• 사건 탐지, 요약, 뉴스 추천, 콘텐츠 검증, 소스 식별, 대시보드 개발, 기타 보조 과제를 포함한 일곱 가지 핵심 과제를 분류하고 분석하기 위해.
• 짧고 노이즈가 많은 소셜 미디어 게시물에서 사건 탐지 및 요약을 위한 텍스트 분류, 군집화, 시퀀스 모델링 기법을 평가하기 위해.
• 이름 있는 실체 인식 및 정서 분석과 같은 NLP 방법을 활용해 콘텐츠의 진위를 검증하고 신뢰할 수 있는 정보 소스를 식별하기 위해.
• 기자들이 실시간 의사결정을 내리는 데 도움이 되도록, 다양한 데이터 소스와 신호를 통합한 상호작용형 뉴스 수집 대시보드를 구축하기 위해.
• 다학제적 통찰을 바탕으로 계산 도구의 실용적 유용성과 한계를 저널리즘 워크플로우 내에서 평가하기 위해.

실험 결과

연구 질문

• RQ1 실시간 뉴스 수집을 위한 소셜 미디어 사용 시 주요 과제는 무엇이며, 이는 저널리즘 정확성과 효율성에 어떤 영향을 미치는가?
• RQ2 데이터 마이닝 및 NLP 기법은 소셜 미디어에서 브레이킹 뉴스 사건을 탐지하고 추적하는 데 어떻게 기여하는가?
• RQ3 요약 및 추천 시스템은 뉴스 기자들이 소셜 미디어 모니터링의 스케일러빌리티를 향상시키는 데 어떤 방식으로 기여할 수 있는가?
• RQ4 소셜 미디어 플랫폼에서 사용자 생성 콘텐츠의 신뢰성과 진위를 검증하기 위한 방법은 무엇이 있는가?
• RQ5 다양한 NLP 과제를 통합하고 저널리즘 워크플로우를 지원할 수 있도록 뉴스 수집 대시보드와 툴킷을 어떻게 설계할 수 있는가?

주요 결과

• 모바일 인터넷의 보급과 시민 저널리즘의 확산으로 인해 소셜 미디어는 브레이킹 뉴스의 핵심 자료원이 되었다.
• NLP와 군집화 기법을 활용한 사건 탐지 시스템은 짧고 노이즈가 많은 소셜 미디어 텍스트에서 뉴스 사건을 중간에서 높은 정밀도로 식별할 수 있다.
• 언어적 신호, 메타데이터, 소스 신뢰성 히وري스틱을 조합한 콘텐츠 검증 방법은 브레이킹 뉴스 기간 동안 오락성 정보의 확산을 줄이는 데 기여한다.
• 사용자 관심사와 시간적 관련성에 기반한 뉴스 추천 시스템은 뉴스 기자들이 정보를 발견하는 데 효율성을 높인다.
• 요약, 소스 탐지 등의 다양한 NLP 과제를 통합한 상호작용형 대시보드는 뉴스 사건 기간 동안 실시간 상황 인식 능력을 향상시킨다.
• 진전이 있었음에도 불구하고, 어휘 다양성, 풍자, 자원이 적은 언어를 다루는 데는 여전히 과제가 남아 있어 더 견고하고 일반화 가능한 모델이 필요하다.