[论文解读] Global Contentious Politics Database (GLOCON) Annotation Manuals

Fırat Duruşan, Ali Hürriyetoğlu+5 more|arXiv (Cornell University)|May 17, 2022

Social Media and Politics被引用 6

一句话总结

本文介紹了全球衝突政治數據庫（GLOCON）註解手冊，該手冊為GLOCON黃金標準語料庫中新聞文章的抗議事件進行手動編碼提供了標準化方法。手冊基於語言學註解原則，並針對社會科學變量進行調整，確保在多國多來源情境下，自動化工具檢測與提取抗議事件數據時具備高準確性與一致性。

ABSTRACT

The database creation utilized automated text processing tools that detect if a news article contains a protest event, locate protest information within the article, and extract pieces of information regarding the detected protest events. The basis of training and testing the automated tools is the GLOCON Gold Standard Corpus (GSC), which contains news articles from multiple sources from each focus country. The articles in the GSC were manually coded by skilled annotators in both classification and extraction tasks with the utmost accuracy and consistency that automated tool development demands. In order to assure these, the annotation manuals in this document lay out the rules according to which annotators code the news articles. Annotators refer to the manuals at all times for all annotation tasks and apply the rules that they contain. The content of the annotation manual is built on the general principles and standards of linguistic annotation laid out in other prominent annotation manuals such as ACE, CAMEO, and TimeML. These principles, however, have been adapted or rather modified heavily to accommodate the social scientific concepts and variables employed in the EMW project. The manual has been molded throughout a long trial and error process that accompanied the annotation of the GSC. It owes much of its current shape to the meticulous work and invaluable feedback provided by highly specialized teams of annotators, whose diligence and expertise greatly increased the quality of the corpus.

研究动机与目标

• 建立標準化的註解規則，以識別與提取新聞文章中的抗議事件數據。
• 確保手動編碼在訓練自動化文本處理工具時具備高準確性與一致性。
• 將通用語言學註解標準（如ACE、CAMEO、TimeML）適應至EMW計畫相關的社會科學概念。
• 支援建立高品質、多語言、多國別抗議事件資料庫，以促進計算社會科學研究。
• 透過在語料庫建立過程中，來自專業註解團隊的反覆反饋，持續優化註解指南。

提出的方法

• 基於ACE、CAMEO與TimeML等既有的語言學註解框架，開發註解手冊。
• 將通用註解原則調整，以符合EMW（新興福利）計畫所使用的社會科學變量。
• 在GLOCON黃金標準語料庫（GSC）的註解過程中，透過試錯法持續優化規則。
• 訓練具備專業能力的註解員，使其能在多樣的新聞來源與語言中一致應用手冊。
• 整合專業註解團隊的反饋，以提升規則清晰度與註解者間的一致性。
• 將所得的註解語料庫作為自動化抗議事件檢測與資訊提取工具的訓練與測試基礎。

实验结果

研究问题

• RQ1 如何發展標準化的註解規則，以確保在多樣化新聞來源中對抗議事件的識別具有一致性？
• RQ2 為適應抗議事件數據中的社會科學概念，現有語言學註解標準需進行哪些修改？
• RQ3 透過專家註解員反饋進行的迭代優化，如何提升抗議事件語料的品質與可靠性？
• RQ4 手動註解指南在多大程度上能支援自動化工具的開發，以檢測與提取抗議事件資訊？
• RQ5 專業註解團隊在塑造複雜社會科學數據集最終形式的註解手冊過程中扮演何種角色？

主要发现

• GLOCON註解手冊成功建立了一套一致的框架，用於多語言、多國別新聞文章中抗議事件的編碼。
• 將ACE、CAMEO與TimeML原則適應至社會科學變量，使抗議相關實體與事件得以精確註解。
• 透過專業註解員反饋進行的迭代優化，顯著提升了註解規則的清晰度與可靠性。
• 所產生的GLOCON黃金標準語料庫（GSC）達到高準確性與一致性，符合自動化工具開發的需求。
• 手冊成為訓練與評估自然語言處理系統在國際衝突政治研究中應用的基礎資源。
• 最終的註解指南體現了一套穩健且經過實證測試的流程，平衡了語言學精確性與社會科學相關性。