[논문 리뷰] Global Contentious Politics Database (GLOCON) Annotation Manuals

Fırat Duruşan, Ali Hürriyetoğlu외 5명|arXiv (Cornell University)|2022. 05. 17.

Social Media and Politics인용 수 6

한 줄 요약

이 논문은 GLOCON 골드 표준 코퍼스를 위한 뉴스 기사에서 시위 사건을 수동으로 코딩하는 데 표준화된 방법을 제공하는 글로벌 논쟁적 정치학 데이터베이스(GLOCON) 애너테이션 매뉴얼을 제시한다. 이 매뉴얼들은 언어학적 애너테이션 원칙을 기반으로 하되, 사회과학 변수에 맞게 조정되어, 다국적이고 다국어적 자료에서 자동화된 도구가 시위 사건 데이터를 탐지하고 추출하는 데 있어 높은 정확도와 일관성을 보장한다.

ABSTRACT

The database creation utilized automated text processing tools that detect if a news article contains a protest event, locate protest information within the article, and extract pieces of information regarding the detected protest events. The basis of training and testing the automated tools is the GLOCON Gold Standard Corpus (GSC), which contains news articles from multiple sources from each focus country. The articles in the GSC were manually coded by skilled annotators in both classification and extraction tasks with the utmost accuracy and consistency that automated tool development demands. In order to assure these, the annotation manuals in this document lay out the rules according to which annotators code the news articles. Annotators refer to the manuals at all times for all annotation tasks and apply the rules that they contain. The content of the annotation manual is built on the general principles and standards of linguistic annotation laid out in other prominent annotation manuals such as ACE, CAMEO, and TimeML. These principles, however, have been adapted or rather modified heavily to accommodate the social scientific concepts and variables employed in the EMW project. The manual has been molded throughout a long trial and error process that accompanied the annotation of the GSC. It owes much of its current shape to the meticulous work and invaluable feedback provided by highly specialized teams of annotators, whose diligence and expertise greatly increased the quality of the corpus.

연구 동기 및 목표

• 뉴스 기사에서 시위 사건 데이터를 식별하고 추출하기 위한 표준화된 애너테이션 규칙 수립.
• 자동화된 텍스트 처리 도구 훈련을 위한 수동 코딩의 높은 정확도와 일관성 확보.
• ACE, CAMEO, TimeML 등의 일반적인 언어학적 애너테이션 기준을 EMW 프로젝트에 관련된 사회과학 개념에 맞게 적응.
• 계산사회학 연구를 위한 고품질의 다국어·다국적 시위 사건 데이터베이스 개발 지원.
• 코퍼스 구축 과정에서 전문화된 애너테이터 팀으로부터의 반복적 피드백을 통해 애너테이션 지침을 개선.

제안 방법

• ACE, CAMEO, TimeML와 같은 기존 언어학적 애너테이션 프레임워크를 기반으로 한 애너테이션 매뉴얼 개발.
• EMW(신생 복지) 프로젝트에서 사용하는 사회과학 변수에 맞게 일반적인 애너테이션 원칙을 조정.
• GLOCON 골드 표준 코퍼스(GSC)의 애너테이션 과정에서 시행착오 방식을 통해 규칙를 정교화.
• 다양한 뉴스 출처와 언어에서 매뉴얼을 일관되게 적용할 수 있도록 숙련된 애너테이터 훈련.
• 전문 애너테이터 팀으로부터의 피드백을 통합하여 규칙의 명확성과 이 애너테이터 간 일致성 향상.
• 최종적으로 생성된 애너테이션 코퍼스를 자동화된 시위 탐지 및 정보 추출 도구의 훈련 및 테스트 기초로 활용.

실험 결과

연구 질문

• RQ1 다양한 뉴스 출처에서 일관성 있게 시위 사건을 식별하기 위해 표준화된 애너테이션 규칙를 어떻게 수립할 수 있는가?
• RQ2 시위 사건 데이터의 사회과학 개념을 수용하기 위해 기존 언어학적 애너테이션 기준에 어떤 수정이 필요한가?
• RQ3 전문 애너테이터의 피드백을 통한 반복적 개선 과정이 시위 사건 코퍼스의 품질과 신뢰성에 어떻게 기여하는가?
• RQ4 수동 애너테이션 지침은 시위 사건 정보 탐지 및 추출을 위한 자동화 도구 개발을 어느 정도 지원할 수 있는가?
• RQ5 전문 애너테이터 팀은 복잡한 사회과학 데이터셋을 위한 최종 애너테이션 매뉴얼 형성에 어떤 역할을 하는가?

주요 결과

• GLOCON 애너테이션 매뉴얼은 다국어·다국적 뉴스 기사에서 시위 사건을 코딩하기 위한 일관된 프레임워크를 성공적으로 수립하였다.
• ACE, CAMEO, TimeML 원칙을 사회과학 변수에 적응시킴으로써 시위 관련 실체와 사건의 정확한 애너테이션을 가능하게 하였다.
• 전문 애너테이터의 피드백을 통한 반복적 개선 과정이 애너테이션 규칙의 명확성과 신뢰성에 크게 기여하였다.
• 최종적으로 생성된 GLOCON 골드 표준 코퍼스(GSC)는 높은 정확도와 일관성을 확보하여 자동화 도구 개발의 요구사항을 충족시켰다.
• 매뉴얼은 글로벌 논쟁적 정치학 연구에서 NLP 시스템의 훈련 및 평가를 위한 기초 자원으로 기능한다.
• 최종 애너테이션 지침은 언어학적 정밀성과 사회과학적 관련성을 균형 있게 유지한, 실증적으로 검증된 과정을 반영하고 있다.