[論文レビュー] A Multi-Axis Annotation Scheme for Event Temporal Relations

Ning Qiang, Hao Wu+1 more|arXiv (Cornell University)|Apr 20, 2018

Semantic Web and Ontologies参考文献 24被引用数 71

ひとこと要約

この論文はイベント時間関係の多軸注釈スキームを導入し、終了点よりも開始点を固定することを重視し、仲介者間の一致向上と開始点を用いたクラウドソースデータ MATRES の作成を示す。

ABSTRACT

Existing temporal relation (TempRel) annotation schemes often have low inter-annotator agreements (IAA) even between experts, suggesting that the current annotation task needs a better definition. This paper proposes a new multi-axis modeling to better capture the temporal structure of events. In addition, we identify that event end-points are a major source of confusion in annotation, so we also propose to annotate TempRels based on start-points only. A pilot expert annotation using the proposed scheme shows significant improvement in IAA from the conventional 60's to 80's (Cohen's Kappa). This better-defined annotation scheme further enables the use of crowdsourcing to alleviate the labor intensity for each annotator. We hope that this work can foster more interesting studies towards event understanding.

研究の動機と目的

• TempRel 注釈スキームにおける低い仲介者間合意を、多重の意味軸でタスクを再定義することによって解決する。
• 終了点の曖昧さのために、開始点に焦点を当てることで信頼性を向上させる。
• クラウドソーシングによるスケーラブルなデータ収集を、堅牢な品質管理とともに可能にする。
• 開始点ベースの TempRel 注釈をサポートする新しいデータセット MATRES を提供し、TB-Dense と比較する。
• タスクの定義性を改善し TempRel 抽出の潜在的利得を示すベースラインシステムを提供する。

提案手法

• イベントを意味軸（主軸と直交軸）へアンカーするマルチ軸モデリングを提案し、同じ軸のペアのみを比較する。
• 時間区間関係を開始点比較（start-start, start-end, end-start, end-end）に分解する区間分割を採用して、表現力を維持しつつラベリングを単純化する。
• 注釈を開始点（t_start）に焦点を当て、終了点の比較は現在のタスクでは不要とみなす。より高い曖昧さと低信頼性を理由に。
• 2段階のクラウドソーシングワークフローを実装：軸上でイベントがアンカー可能かを決定するアンカラビリティ注釈、その後、アンカー可能なイベント間の関係注釈。
• クラウドソースの品質管理（ゴールド問題、適格性テスト、マジョリティ投票集約）を導入し、開始点順序のQ1/Q2曖昧性チェックによる構造化手順で曖昧な関係を扱う。

実験結果

リサーチクエスチョン

• RQ1 マルチ軸注釈スキームは従来の単一軸スキームと比較して TempRel 注釈のIAA を改善できるか？
• RQ2 開始点に焦点を当てることで認知負荷と注釈エラーを減らし、信頼性の高いクラウドソース TempRel データセットを実現できるか？
• RQ3 MATRES データセットは TB-Dense と比較して注釈品質とデータセット間の同意にどのように影響するか？
• RQ4 新しい注釈スキームが基礎分類器を用いた TempRel 抽出性能にどのような影響を与えるか？

主な発見

Label	Training_P	Training_R	Training_F1	Testing_P	Testing_R	Testing_F1
Before	.74	.91	.82	.71	.80	.75
After	.73	.77	.75	.55	.64	.59
Equal	1	0.05	0.09	-	-	-
Vague	.75	.28	.41	.29	.13	.18
Overall	.73	.81	.77	.66	.72	.69
Original	.44	.67	.53	.40	.60	.48

• 専門家によるパイロット注釈は main axis での IAA を 0.84（Cohen’s Kappa）と得られ、以前の約 0.60 の IAA より大幅に高かった。
• 品質管理を備えたクラウドソーシングは信頼性のある注釈を生んだ：アンカー可能性と関係ステップは金データで高精度を達成し、作業者の高い同意を得た。
• MATRES は TempRel 注釈の明確さと信頼性を大幅に向上させ、開始点ベースのラベリングと直交軸を可能にした。
• TB-Dense と比較して MATRES は開始点の整合性を改善し、金標準およびクラウドの合意と合理的な一致を示す。
• MATRES のベースライン平均パーセプトン系は競争力のある F1 スコアを達成し、新スキーム下でタスクが適切に定義され学習可能であることを示している。