[논문 리뷰] Counting Protests in News Articles: A Dataset and Semi-Automated Data Collection Pipeline

Tommy L. F. Leung, L. Nathan Perkins|arXiv (Cornell University)|2021. 02. 01.

Computational and Text Analysis Methods인용 수 8

한 줄 요약

이 논문은 2017년 1월부터 2021년 1월까지 미국 현지 뉴스 기사에서 수집한 수작업으로 정제된 42,347건의 시위 사건 데이터셋과 이를 수집·라벨링하기 위한 준자동화된 파이프라인을 소개한다. 문단 수준의 문법적 단위를 사용할 때 평균 F1 스코어가 82.6에 이르는 LSTM 기반 분류기의 성능을 평가하여 뉴스 미디어에서의 이벤트 추출을 위한 구조화된 텍스트 분석의 효과성을 입증한다.

ABSTRACT

Between January 2017 and January 2021, thousands of local news sources in the United States reported on over 42,000 protests about topics such as civil rights, immigration, guns, and the environment. Given the vast number of local journalists that report on protests daily, extracting these events as structured data to understand temporal and geographic trends can empower civic decision-making. However, the task of extracting events from news articles presents well known challenges to the NLP community in the fields of domain detection, slot filling, and coreference resolution. To help improve the resources available for extracting structured data from news stories, our contribution is three-fold. We 1) release a manually labeled dataset of news article URLs, dates, locations, crowd size estimates, and 494 discrete descriptive tags corresponding to 42,347 reported protest events in the United States between January 2017 and January 2021; 2) describe the semi-automated data collection pipeline used to discover, sort, and review the 144,568 English articles that comprise the dataset; and 3) benchmark a long-short term memory (LSTM) low dimensional classifier that demonstrates the utility of processing news articles based on syntactic structures, such as paragraphs and sentences, to count the number of reported protest events.

연구 동기 및 목표

• 비정형적인 현지 뉴스 기사에서 구조화된 시위 이벤트 데이터를 추출하는 데 도전하는 것. 이는 시민 및 정치 분석에 핵심적인 자료가 된다.
• 일시, 장소, 인파 규모, 기술적 태그 등 상세한 메타데이터를 포함한 대규모 수작업 라벨링 데이터셋을 구축하는 것.
• 수천 건의 뉴스 기사들을 밤새로 처리할 수 있는 준자동화된 데이터 수집 파이프라인을 개발하고 검증하는 것. 이는 최소한의 인간 노동으로도 가능하도록 한다.
• 자연어 처리(NLP) 모델의 성능을 평가하여 뉴스 기사 내 시위 이벤트 수를 세는 데 있어 문법적 구조와 시퀀스 모델링의 영향을 분석하는 것.
• 표준화되고 접근 가능한 데이터를 제공함으로써 향후 이벤트 추출, 시민 데이터 분석, 사회운동의 종단적 연구를 가능하게 하는 것.

제안 방법

• 데이터셋은 138,826개의 뉴스 기사 URL을 포함하며, 494개의 기술적 태그를 포함한 42,347건의 고유한 시위 사건이 수작업으로 라벨링되었다. 이 태그에는 시기 상태(Past/Future), 장소, 인파 규모, 시위 주제 등이 포함된다.
• 준자동화된 파이프라인은 웹 크롤링, URL 중복 제거, 유사도 기반 정렬을 통해 인간 검토를 위한 기사를 식별하고 우선순위를 정함으로써 수작업 노력은 줄이고 데이터 품질은 유지한다.
• 핵심 방법은 장기 기억 네트워크(LSTM)를 사용해 기사당 시위 사건 수를 분류하는 것으로, 세 가지 문법적 입력 단위(토큰, 문장, 문단)를 활용한다.
• 모델은 10,000회 반복 동안 계층적 샘플링을 사용해 클래스(기사당 0, 1, 2, 또는 3개 이상의 사건)를 균형 있게 유지하고, 과적합을 방지하기 위해 조기 정지 기법을 적용하여 분류 교차 엔트로피 손실 함수를 최적화한다.
• 정밀도, 재현율, F1 스코어를 사용해 다양한 문법적 입력 단위에서의 성능을 평가하였으며, 문단 수준의 인코딩에서 가장 높은 성능을 기록하였다.
• 데이터셋은 공개 GitHub 리포지토리를 통해 URL과 예제 코드를 제공하지만, 저작권 제약으로 인해 전체 코퍼스는 배포되지 않는다.

실험 결과

연구 질문

• RQ1 준자동화된 파이프라인은 최소한의 인간 간섭으로 현지 뉴스 기사에서 시위 사건의 수집 및 라벨링을 효과적으로 확장할 수 있는가?
• RQ2 토큰, 문장, 문단 중 어떤 문법적 단위를 선택하느냐가 뉴스 기사 내 시위 사건 수를 세는 데 있어 LSTM 모델의 성능에 어떤 영향을 미치는가?
• RQ3 저차원의 LSTM 분류기가 기사당 0개, 1개, 2개, 또는 3개 이상의 시위 사건을 구분하는 데 얼마나 효과적인가?
• RQ4 문단과 같은 문법적 구조는 모델이 장기적 의존성을 다루는 데 얼마나 기여하는가?
• RQ5 모델은 시위 관련 용어는 언급하지만 실제 시위를 묘사하지 않는 부정 예외(예: 음성 예외)를 얼마나 잘 식별하는가?

주요 결과

• 문단 기반 LSTM 모델이 F1 스코어 82.6을 기록하며 문장 기반(82.9) 및 토큰 기반(80.4) 모델을 모두 앞서며, 더 큰 문법적 단위가 이벤트 수 세기 정확도를 향상시킨다는 것을 시사한다.
• 모델은 0개의 시위 사건을 포함한 기사 식별에서 가장 뛰어난 성능을 보였으며(F1 = 90.4), 이는 비시위 콘텐츠에 대한 강력한 도메인 식별 능력을 의미한다.
• 두 개의 시위 사건을 포함한 기사에서 성능이 크게 떨어졌으며(F1 = 43.2), 주로 이중 사건이 한 개의 사건으로 잘못 분류되는 데 기인하여 이중 사건을 명확히 구분하는 데 어려움이 있음을 보여준다.
• 문장 기반 모델은 1개의 사건을 포함한 기사에서 F1 스코어 80.5를 기록하며 토큰 기반 모델(78.3)을 앞서며, 문장 수준의 인코딩이 토큰보다 이벤트의 맥락을 더 잘 포착한다는 것을 시사한다.
• 모든 클래스에서 가중 평균 F1 스코어가 82.6을 기록하여, 이벤트 수 세기를 다중 분류 문제로 재정의하는 것이 타당하고 효과적인 전략임을 입증한다.
• 준자동화된 파이프라인은 4년간 두 명의 연구자만으로 138,826건의 기사를 처리했으며, 반복적인 정렬과 검토를 통해 높은 데이터 품질을 확보했다.