[论文解读] Annotation graphs as a framework for multidimensional linguistic data analysis

Steven Bird, Mark Liberman|ArXiv.org|Jul 5, 1999

Natural Language Processing Techniques参考文献 5被引用 50

一句话总结

本文提出注释图——一种基于带标签有向无环图的正式框架，用于表示跨多个话语分析层次的复杂、重叠且分层的语 linguistic 注释。通过将注释编码为带有类型、标签和可选类别字段的有向弧，该框架实现了在多种格式之间的互操作性，支持对多种注释方案的高效查询与比较，并促进工具、语料库和理论模型的整合，而无需事先就标签集达成共识。

ABSTRACT

In recent work we have presented a formal framework for linguistic annotation based on labeled acyclic digraphs. These `annotation graphs' offer a simple yet powerful method for representing complex annotation structures incorporating hierarchy and overlap. Here, we motivate and illustrate our approach using discourse-level annotations of text and speech data drawn from the CALLHOME, COCONUT, MUC-7, DAMSL and TRAINS annotation schemes. With the help of domain specialists, we have constructed a hybrid multi-level annotation for a fragment of the Boston University Radio Speech Corpus which includes the following levels: segment, word, breath, ToBI, Tilt, Treebank, coreference and named entity. We show how annotation graphs can represent hybrid multi-level structures which derive from a diverse set of file formats. We also show how the approach facilitates substantive comparison of multiple annotations of a single signal based on different theoretical models. The discussion shows how annotation graphs open the door to wide-ranging integration of tools, formats and corpora.

研究动机与目标

• 解决在语音和文本语料中使用的语言注释格式日益复杂和异质化的问题。
• 提供一个正式的、通用的框架，以表示话语层面分析中常见的重叠、分层和跨切结构。
• 在无需格式标准化的情况下，实现不同理论模型注释之间的互操作性和比较。
• 支持在不同研究群体中长期维护、可检索性和持久性的语言注释。
• 为通用中间语言奠定基础，通过支持 $n$-对一的转换，减少 $n^2$ 种格式转换的需要。

提出的方法

• 将语言注释表示为带标签的有向无环图（注释图），其中节点表示时间点或事件，弧表示带有类型、标签和可选类别的带标签区间。
• 将注释图正式定义为三元组 ⟨n₁, r, n₂⟩ 的集合，其中 r 是字段记录（类型、标签、类别），n₁ 和 n₂ 是时间锚定的、有向无环图中的节点。
• 通过部分映射 τ: N ⇀ ℝ 使用时间锚定的节点，以支持时间推理，如注释之间的先后顺序、包含关系和重叠检测。
• 利用弧的幂集作为查询代数，支持对子图执行交集、并集和补集等操作，实现复杂搜索与比较。
• 将多种现有注释格式（如 CALLHOME、MUC-7、DAMSL、Treebank）映射到注释图形式化中，同时保留其结构和语义差异。
• 通过波士顿大学广播语音语料库的混合多层注释，展示该框架的实用性，整合了分段、词汇、呼吸、ToBI、Tilt、Treebank、共指和命名实体等层次。

实验结果

研究问题

• RQ1 如何通过单一正式框架表示话语级数据中发现的全部复杂、重叠和分层的语言注释？
• RQ2 注释图在多大程度上能够支持基于不同理论模型对同一信号的多个注释进行比较？
• RQ3 注释图能否作为通用中间语言，实现在不同注释工具和文件格式之间的互操作性，而无需为每对系统进行格式转换？
• RQ4 注释图的形式化结构在多大程度上支持对语言数据中时间关系和分层关系的高效查询、索引和分析？
• RQ5 在话语研究中，使用注释图整合异构语料库和工具的实际优势是什么？

主要发现

• 注释图框架成功表示了来自 CALLHOME、COCONUT、MUC-7、DAMSL 和 TRAINS 等多样化来源的复杂、多层语言注释，包括重叠和非分层结构。
• 该框架支持基于不同理论模型（如共指和话语功能）对同一信号的多个注释进行直接比较，而无需格式对齐。
• 注释图中弧的幂集构成一个封闭的查询代数，支持通过交集、并集和补集操作实现高效且表达力强的查询。
• 时间锚定的节点支持系统性地计算注释之间的时间关系，如先后顺序、包含关系和重叠，从而实现稳健的时间推理。
• 该框架通过作为通用中间语言，支持异构语料库和工具的整合，将 $n^2$ 种格式转换需求减少至 $n$ 个接口。
• 成功使用该框架构建了波士顿大学广播语音语料库的混合多层注释，整合了分段、词汇、呼吸、ToBI、Tilt、Treebank、共指和命名实体等层次。