[论文解读] Charon: a FrameNet Annotation Tool for Multimodal Corpora

Frederico Belcavello, Marcelo Viridiano+2 more|arXiv (Cornell University)|May 24, 2022

Natural Language Processing Techniques被引用 5

一句话总结

Charon 是一个基于网络的、与 FrameNet 兼容的标注工具，可使用 FrameNet 框架和框架元素对静态图像和视频连同文本语料进行细粒度语义标注。它支持静态图片-标题配对和动态视频序列，结合计算机视觉目标检测与人工介入标注，创建语义丰富的多模态数据集，主要贡献包括与 FN-Br WebTool 的兼容性，以及创建了两个新数据集：Framed Multi 30k 和 Frame 2。

ABSTRACT

This paper presents Charon, a web tool for annotating multimodal corpora with FrameNet categories. Annotation can be made for corpora containing both static images and video sequences paired - or not - with text sequences. The pipeline features, besides the annotation interface, corpus import and pre-processing tools.

研究动机与目标

• 将 FrameNet 标注扩展至多模态语料，包括与文本配对的静态图像和视频序列。
• 解决缺乏将 FrameNet 语义粒度与视觉数据标注相结合的工具的问题。
• 支持使用 FrameNet 框架和框架元素对视觉对象进行人工介入式标注。
• 在统一的基于网络的界面中实现文本、视觉和基于框架的标注之间的关联。
• 为自然语言处理和多模态理解研究，生成高质量、语义标注的多模态数据集。

提出的方法

• Charon 采用双模块架构：静态模式用于图片-标题配对，动态模式用于视频序列。
• 语料以包含图像、文本标题和带边界框标注的 XML 文件的 ZIP 压缩包形式导入。
• 预处理阶段使用 DAISY 算法（消歧算法）自动为文本中的词素分配语义框架。
• 标注人员为视觉对象分配 FrameNet 框架和框架元素，可选地结合计算机视觉（CV）名称标注以实现对象识别。
• 该工具支持框架元素的空实例化，允许标注那些在文本中未提及但可通过视觉推断出的框架元素。
• 与 FN-Br WebTool 的集成确保了与现有 FrameNet 工作流和数据库的兼容性。

实验结果

研究问题

• RQ1 如何将 FrameNet 标注扩展至包括静态图像和视频等视觉模态？
• RQ2 哪些技术和界面设计选择能够实现高效的人工介入式多模态数据 FrameNet 语义标注？
• RQ3 即使在伴随文本中未明确提及，如何对视觉数据中的框架元素进行有意义的标注？
• RQ4 在框架和框架元素层面，对齐文本和视觉标注面临哪些实际挑战？
• RQ5 如何利用基于 FrameNet 的标注流程系统化地构建多模态数据集？

主要发现

• Charon 有效实现了对静态图像和视频序列的 FrameNet 框架与框架元素标注，实现了文本与视觉模态之间的语义对齐。
• 该工具支持框架元素的空实例化，使标注人员能够标记在视觉中存在但文本中未提及的框架元素，从而增强语义丰富性。
• 将计算机视觉名称（CV Names）与 FrameNet 标注结合，提升了视觉数据中的对象识别与语义定位能力。
• 使用 Charon 创建了两个新数据集：Framed Multi 30k 在 Flickr30K Entities 数据集基础上增加了 155,070 个巴西葡萄牙语及英-葡双语描述；Frame 2 包含来自旅游电视系列片的 12,200 个文本标注集和 5,000 个图像标注集。
• 该工具展示了与 FN-Br WebTool 的兼容性，实现了与现有 FrameNet 工作流及全球 FrameNet 标注工作的无缝集成。
• Charon 的架构支持可扩展的大规模多模态数据标注，未来计划进一步集成来自机器视觉模型的元数据。