[論文レビュー] How compatible are our discourse annotations? Insights from mapping RST-DT and PDTB annotations

Vera Demberg, Fatemeh Torabi Asr+1 more|arXiv (Cornell University)|Apr 28, 2017

Natural Language Processing Techniques参考文献 31被引用数 6

ひとこと要約

本稿では、同じテキストを異なる枠組みでアノテートされたRST-DTおよびPDTB 2.0コーパス間の話説的セグメントおよび関係を自動で一致させる手法を提案する。既存の理論的マッピング提案を実際のアノテーションと照合することで、明示的関係では高い一致を示すが、暗黙的関係では低い一致を示すことが明らかになった。これは、セグメンテーションおよび運用化の違いに起因する体系的な乖離によるものである。

ABSTRACT

Discourse-annotated corpora are an important resource for the community, but they are often annotated according to different frameworks. This makes comparison of the annotations difficult, thereby also preventing researchers from searching the corpora in a unified way, or using all annotated data jointly to train computational systems. Several theoretical proposals have recently been made for mapping the relational labels of different frameworks to each other, but these proposals have so far not been validated against existing annotations. The two largest discourse relation annotated resources, the Penn Discourse Treebank and the Rhetorical Structure Theory Discourse Treebank, have however been annotated on the same text, allowing for a direct comparison of the annotation layers. We propose a method for automatically aligning the discourse segments, and then evaluate existing mapping proposals by comparing the empirically observed against the proposed mappings. Our analysis highlights the influence of segmentation on subsequent discourse relation labeling, and shows that while agreement between frameworks is reasonable for explicit relations, agreement on implicit relations is low. We identify several sources of systematic discrepancies between the two annotation schemes and discuss consequences of these discrepancies for future annotation and for the training of automatic discourse relation labellers.

研究の動機と目的

• RST-DTおよびPDTBフレームワーク間の話説的関係ラベルをマッピングする理論的提案の実証的妥当性を評価すること。
• 異なるアノテーション方式を用いているが、2つの主要な話説的アノテートコーパス—RST-DTおよびPDTB 2.0—の間の適合性の程度を調査すること。
• アノテーションガイドラインのセグメンテーションおよび運用化の違いに起因する、話説的関係ラベリングにおける体系的乖離を特定すること。
• 将来的なアノテーションガイドラインの改善および、複数フレームワークのデータを用いた自動話説的関係分類器のトレーニングを支援する知見を提供すること。
• RST-DTおよびPDTB 2.0コーパスをマッピングしたバージョンを研究利用のために公開すること。

提案手法

• スパンレベルの重複および構造的類似性に基づき、RST-DTとPDTB 2.0間の話説的セグメントを自動でマッピングする手法を開発した。
• 句読点、意味的、話説的レベルの特徴を組み合わせて、2つのアノテーション方式間での話説的ユニットを照合した。
• 既存の理論的マッピング提案（例：Bunt & Prasad, 2016; Benamara & Taboada, 2015; Chiarcos, 2014; Sanders et al., 2016）を、マッピング済みデータに適用し、実証的評価を行った。
• 提案されたマッピングを実際のアノテーションと比較して、正確性および一貫性を評価した。特に明示的関係と暗黙的関係に注目した。
• ラベルの不一致事例を分析し、RST-DTのContrastがPDTBのConcessionに多くマッピングされるなど、体系的な乖離のパターンを同定した。
• 今後の話説的解析およびアノテーション基準統一に関する研究を支援するため、公開可能なマッピング済みコーパスを生成した。

実験結果

リサーチクエスチョン

• RQ1 RST-DTおよびPDTB 2.0間の話説的関係ラベルをマッピングする理論的提案が、同じテキスト内の実際のアノテーションとどの程度一致するか？
• RQ2 セグメンテーションの選択が、RST-DTおよびPDTB 2.0における話説的関係のラベリングにどの程度影響を及えるか？
• RQ3 なぜ2つのフレームワークにおいて、暗黙的関係の一致度が明示的関係よりも低いのか？
• RQ4 ContrastやCausationのような特定の関係タイプに関して、RST-DTとPDTB 2.0の間でどのような体系的乖離が存在するか？
• RQ5 観察された不一致は、将来のアノテーションガイドラインの改善および自動話説的関係分類器のトレーニングにどのように活かせるか？

主な発見

• 明示的関係については、RST-DTとPDTB 2.0の間で高い一致を示すが、特に接続詞が関与する場合に顕著であり、接続詞の多義性に応じて変動する。
• 特に'but'のような接続詞では、対比的関係と譲歩的関係の両方を示しうるため、ラベルの適用がフレームワーク間で一貫していないことが顕著に現れている。
• 暗黙的関係については、2つのフレームワーク間での一致が低く、現在のアノテーション実務が異なる枠組み間で一貫したラベリングを生み出していないことを示唆している。
• 体系的な不一致が確認された：RST-DTのCausal関係はPDTBではしばしばAdditiveにラベル付けされ、RST-DTのContrastはPDTBのConcessionに頻繁にマッピングされる。
• アノテーションガイドラインの運用化—たとえば、ラベリング時に暗黙の接続詞をどのように扱うか—が、関係ラベルの結果に顕著な影響を及えることが明らかになった。
• マッピング済みコーパスの分析から、PDTBのConcessionやRSTのContrastのような特定の関係タイプは、フレームワーク間の一貫性を高めるために定義の見直しが必要であることが判明した。