[논문 리뷰] Cross-context News Corpus for Protest Events related Knowledge Base Construction

Ali Hürriyetoğlu, Erdem Yörük외 5명|arXiv (Cornell University)|2020. 08. 01.

Computational and Text Analysis Methods인용 수 5

한 줄 요약

이 논문은 인도, 중국, 남아프리카 공화국의 영문 뉴스 자료에서 얻은 프로테스트 사건에 대한 크로스컨텍스트 골드 표준 코퍼스를 소개한다. 이 코퍼스는 도메인 전문가에 의한 문서, 문장, 토큰 수준의 주석 처리를 거쳐 액티브 러닝과 준자동 오류 검출을 통해 정제되었다. 코퍼스를 통해 기계 학습 모델의 자동 프로테스트 사건 추출을 위한 훈련과 벤치마킹이 가능해졌으며, 실제 랜덤 데이터에서 최신 기술 수준의 리콜 성능을 달성하였고, 크로스컨텍스트 분류 및 공명사용 해소(shared tasks)를 지원한다.

ABSTRACT

We describe a gold standard corpus of protest events that comprise of various local and international sources from various countries in English. The corpus contains document, sentence, and token level annotations. This corpus facilitates creating machine learning models that automatically classify news articles and extract protest event-related information, constructing knowledge bases which enable comparative social and political science studies. For each news source, the annotation starts on random samples of news articles and continues with samples that are drawn using active learning. Each batch of samples was annotated by two social and political scientists, adjudicated by an annotation supervisor, and was improved by identifying annotation errors semi-automatically. We found that the corpus has the variety and quality to develop and benchmark text classification and event extraction systems in a cross-context setting, which contributes to the generalizability and robustness of automated text processing systems. This corpus and the reported results will set the currently lacking common ground in automated protest event collection studies.

연구 동기 및 목표

• 사회과학 연구의 기계 학습 지원을 위해 다국적·다중 컨텍스트 프로테스트 사건 정보 추출을 위한 고품질 골드 표준 코퍼스를 구축하기 위해.
• 자동 프로테스트 사건 수집 분야에서 공통 벤치마크의 부족을 해결하기 위해, 여러 국가 및 뉴스 자료를 아우르는 표준화된 주석 처리 데이터셋을 제공하기 위해.
• 언어 스타일과 내용의 크로스컨텍스트 변동성을 통합함으로써 NLP 도구의 강건성과 일반화 능력을 향상시키기 위해.
• 실제 랜덤 테스트 데이터를 사용하여 텍스트 분류, 사건 추출, 공명사용 해소 시스템의 벤치마킹을 가능하게 하기 위해.

제안 방법

• 인도, 중국, 남아프리카 공화국의 현지 및 국제 뉴스 자료에서 10,000건 이상의 영문 뉴스 기사로부터 골드 표준 코퍼스를 구축하였다.
• 다중 수준 주석 처리를 적용: 문서 수준(프로테스트 대비 비프로테스트), 문장 수준(사건 존재 여부), 토큰 수준(사건 촉발자, 의미적 카테고리, 장소, 시간, 주체, 공명사용).
• 하이브리드 주석 처리 과정을 사용: 초기 무작위 샘플링 이후 정보성 높은 샘플을 우선순위로 정하는 액티브 러닝을 적용하였으며, 이중 레이블링과 감독자 중재를 통한 처리를 실시하였다.
• 수동 및 준자동 품질 점검을 구현하여 주석 오류를 탐지하고 수정함으로써 코퍼스의 신뢰도를 향상시켰다.
• 코퍼스를 활용해 문서 분류, 문장 수준의 사건 탐지, 토큰 수준의 정보 추출을 위한 기계 학습 모델 파이프라인을 개발하고 평가하였다.
• CLEF 2019 및 LREC 2020에서 공동 과제를 통해 코퍼스를 검증하였으며, 크로스컨텍스트 평가에 유용함을 입증하였다.

실험 결과

연구 질문

• RQ1 다양한 뉴스 자료와 국가를 아우르는 고품질의 다중 컨텍스트 골드 표준 코퍼스를 어떻게 구축할 수 있는가?
• RQ2 크로스컨텍스트 변동성을 통합할 경우, 프로테스트 사건 탐지에 대한 NLP 모델의 강건성과 일반화 능력은 어느 정도 향상되는가?
• RQ3 이 코퍼스를 기반으로 훈련된 기계 학습 파이프라인의 성능은 크로스컨텍스트 문서, 문장, 토큰 수준의 분류 과제에서 어떻게 나타나는가?
• RQ4 액티브 러닝과 준자동 오류 보정이 최종 골드 표준 코퍼스의 품질과 신뢰도를 어느 정도 향상시키는가?
• RQ5 이 코퍼스는 제한되거나 편향된 테스트 세트가 아닌 실제 랜덤 데이터에서 최신 기술 수준의 리콜 평가를 지원할 수 있는가?

주요 결과

• 코퍼스에는 10,000건 이상의 뉴스 기사가 포함되어 있으며, 이 중 800건 이상이 사건 촉발자, 장소, 시간, 주체, 공명사용 등에 대해 문장 및 토큰 수준에서 주석 처리되었다.
• 최고 성능을 보인 파이프라인 구성(Doc+Sent+Tok)은 200건의 테스트 세트에서 F1-마크로 점수 0.614를 기록하였으며, 촉발자 탐지의 정밀도는 0.701, 리콜은 0.547이었다.
• 토큰 수준의 사건 추출에서는 촉발자에 대해 F1 점수 0.722, 시간에 대해 0.683, 장소에 대해 0.683, 대상에 대해 0.491을 기록하여 핵심 사건 요소에 대해 뛰어난 성능을 보였다.
• 코퍼스를 바탕으로 CLEF 2019 및 LREC 2020에서 공동 과제를 수행하였으며, 참가자들의 성능 결과가 보고된 성능과 유사하여 코퍼스의 벤치마킹 유용성이 검증되었다.
• 이 연구는 이전 평가 환경의 한계를 극복하고, 실제 랜덤 데이터에서 최신 기술 수준의 리콜 정량화를 처음으로 입증하였다.
• 학습 데이터와 테스트 데이터가 다를 경우 상당한 성능 저하가 관찰되어, 모델 훈련 및 평가에 있어 크로스컨텍스트 데이터의 중요성을 강조하였다.