[論文レビュー] Global Contentious Politics Database (GLOCON) Annotation Manuals

Fırat Duruşan, Ali Hürriyetoğlu+5 more|arXiv (Cornell University)|May 17, 2022

Social Media and Politics被引用数 6

ひとこと要約

本論文は、GLOCONゴールドスタンダードコーパスにおけるニュース記事内の抗議行動イベントの手動コーディングを標準化する『Global Contentious Politics Database (GLOCON) Annotation Manuals』を提示する。これらのマニュアルは、言語的アノテーション原則に基づき、社会科学的変数に適合させられており、複数の国と情報源にわたる抗議行動イベントデータの検出および抽出を自動化するためのツールのトレーニングにおいて、高い正確性と一貫性を確保する。

ABSTRACT

The database creation utilized automated text processing tools that detect if a news article contains a protest event, locate protest information within the article, and extract pieces of information regarding the detected protest events. The basis of training and testing the automated tools is the GLOCON Gold Standard Corpus (GSC), which contains news articles from multiple sources from each focus country. The articles in the GSC were manually coded by skilled annotators in both classification and extraction tasks with the utmost accuracy and consistency that automated tool development demands. In order to assure these, the annotation manuals in this document lay out the rules according to which annotators code the news articles. Annotators refer to the manuals at all times for all annotation tasks and apply the rules that they contain. The content of the annotation manual is built on the general principles and standards of linguistic annotation laid out in other prominent annotation manuals such as ACE, CAMEO, and TimeML. These principles, however, have been adapted or rather modified heavily to accommodate the social scientific concepts and variables employed in the EMW project. The manual has been molded throughout a long trial and error process that accompanied the annotation of the GSC. It owes much of its current shape to the meticulous work and invaluable feedback provided by highly specialized teams of annotators, whose diligence and expertise greatly increased the quality of the corpus.

研究の動機と目的

• ニュース記事から抗議行動イベントデータを特定・抽出するための標準化されたアノテーションルールを確立すること。
• 自動テキスト処理ツールのトレーニングを目的とした手動コーディングにおける高い正確性と一貫性を確保すること。
• 一般的な言語的アノテーション基準（例：ACE、CAMEO、TimeML）をEMWプロジェクトに関連する社会科学的概念に適合させること。
• 計算的社会科学研究のための高品質で多言語・多国籍の抗議行動イベントデータベースの開発を支援すること。
• コーパス作成中に専門アノテーターチームからの反復的フィードバックを通じてアノテーションガイドラインを洗練させること。

提案手法

• ACE、CAMEO、TimeMLなどの確立された言語的アノテーションフレームワークに基づいたアノテーションマニュアルの開発。
• EMW（エマージング・ウェルフェア）プロジェクトで用いられる社会科学的変数に適合させるために、一般的なアノテーション原則を再調整。
• GLOCONゴールドスタンダードコーパス（GSC）のアノテーション過程で、試行錯誤のプロセスを用いてルールを洗練。
• 多様なニュースソースおよび言語にわたって、熟練アノテーターがマニュアルを一貫して適用できるように訓練。
• 専門アノテーターチームからのフィードバックを統合し、ルールの明確さとアノテーター間の一貫性を向上。
• 得られたアノテーションコーパスを、自動抗議行動検出および情報抽出ツールのトレーニングおよびテストの基盤として活用。

実験結果

リサーチクエスチョン

• RQ1 多様なニュースソースにわたる抗議行動イベントの同定において、一貫性を確保するための標準化されたアノテーションルールをどのように開発できるか。
• RQ2 抗議行動イベントデータにおける社会科学的概念を扱うために、既存の言語的アノテーション基準に必要な修正は何か。
• RQ3 専門アノテーターからのフィードバックによる反復的洗練プロセスが、抗議行動コーパスの品質と信頼性にどのように寄与するか。
• RQ4 手動アノテーションガイドラインが、抗議行動イベント情報の検出および抽出を目的とした自動化ツールの開発をどの程度支援できるか。
• RQ5 専門アノテーターチームは、複雑な社会科学的データセット用の最終的アノテーションマニュアルの形成において、どのような役割を果たすか。

主な発見

• GLOCONアノテーションマニュアルは、多言語・多国籍のニュース記事における抗議行動イベントのコーディングに一貫性のあるフレームワークを確立した。
• ACE、CAMEO、TimeMLの原則を社会科学的変数に適合させたことで、抗議関連エンティティおよびイベントの正確なアノテーションが可能になった。
• 専門アノテーターよりのフィードバックによる反復的洗練プロセスが、アノテーションルールの明確さと信頼性を顕著に向上させた。
• GLOCONゴールドスタンダードコーパス（GSC）は、高い正確性と一貫性を達成し、自動化ツール開発の要件を満たした。
• マニュアルは、世界的な対立的政治研究におけるNLPシステムのトレーニングおよび評価の基盤的リソースとして機能する。
• 最終的なアノテーションガイドラインは、言語的正確性と社会科学的関連性の両方をバランスよく反映した、実証的かつ検証済みのプロセスを反映している。