[论文解读] Data Preparation in Agriculture Through Automated Semantic Annotation -- Basis for a Wide Range of Smart Services

Julian Klose, Markus Schröder+3 more|arXiv (Cornell University)|Nov 15, 2019

Semantic Web and Ontologies参考文献 1被引用 4

一句话总结

本文提出 Wikinormia，一个协作式语义标注平台，通过基于 RDF 的定义，实现农业领域异构机器生成数据格式的标准化，从而实现自动化数据准备。通过解析器将原始数据转换为结构化的空间、时间序列和语义图表示，SDSD 平台使智能服务能够访问标准化、语义增强的数据，同时保护农民的数据主权，实现可扩展、互操作的数字农业工作流。

ABSTRACT

Modern agricultural technology and the increasing digitalisation of such processes provide a wide range of data. However, their efficient and beneficial use suffers from legitimate concerns about data sovereignty and control, format inconsistencies and different interpretations. As a proposed solution, we present Wikinormia, a collaborative platform in which interested participants can describe and discuss their own new data formats. Once a finalized vocabulary has been created, specific parsers can semantically process the raw data into three basic representations: spatial information, time series and semantic facts (agricultural knowledge graph). Thanks to publicly accessible definitions and descriptions, developers can easily gain an overview of the concepts that are relevant to them. A variety of services will then (subject to individual access rights) be able to query their data simply via a query interface and retrieve results. We have already implemented this proposed solution in a prototype in the SDSD (Smart Data - Smart Services) project and demonstrate the benefits with a range of representative services. This provides an efficient system for the cooperative, flexible digitalisation of agricultural workflows.

研究动机与目标

• 解决由于不同制造商的专有、机器特定数据格式导致的农业数据碎片化问题。
• 在不依赖缓慢标准化流程的前提下，实现跨制造商的数据互操作性和语义理解。
• 通过允许对第三方服务共享数据时实施细粒度访问控制，赋予农民数据主权。
• 通过统一查询接口抽象低级别数据格式复杂性，促进智能农业服务的开发。
• 利用语义网技术，创建一个可扩展、可协作的农业数据格式描述与语义增强平台。

提出的方法

• 利用 Wikinormia（类似维基的平台），通过资源描述框架（RDF）协作定义农业数据格式，作为机器可读、人类可读的语义模型。
• 实现解析器，基于 Wikinormia 定义的模式解析原始数据（如 JSON、XML、二进制），提取并结构化信息。
• 采用多语言持久化架构存储处理后的数据：空间数据使用带空间索引的 MongoDB，时间序列数据使用可扩展的 Cassandra，语义事实存储于 Stardog 三元组存储中。
• 将农业实体（如地块、农机、任务）建模为具有唯一 URI 的 RDF 资源，通过空间相等性（SameAs 关系）实现语义链接和去重。
• 使智能服务可通过标准化接口查询结构化数据，绕过对原始、异构数据格式的直接访问。
• 与外部系统（如 agrirouter）集成，实现实时数据摄入，并在需要时利用 OpenStreetMap 推断地块边界。

实验结果

研究问题

• RQ1 如何在短时间内对来自异构、制造商特定来源的农业数据实现语义标准化并提升互操作性？
• RQ2 在动态农业环境中，协作式、社区驱动的数据格式描述平台在多大程度上能超越传统、缓慢的标准化流程？
• RQ3 在允许第三方智能服务消费处理后的农业数据的同时，如何保护数据主权和实现细粒度访问控制？
• RQ4 通过语义和空间推理，自动从连续机器记录（如公路行驶）中分离出相关地块作业数据的可行性如何？
• RQ5 统一、可扩展的数据平台是否能降低中小型服务提供商开发智能农业服务的复杂性和成本？

主要发现

• Wikinormia 平台成功实现了农业数据格式的协作式、可扩展、机器可处理的描述，支持 ISOXML 和如 NRW 农业应用数据等区域特定格式。
• 基于 Wikinormia 定义构建的解析器可自动将原始数据转换为三种标准化数据模型：空间模型、时间序列模型和语义图模型。
• 多语言存储架构有效管理了不同类型的数据——空间数据通过 MongoDB，时间序列数据通过 Cassandra，语义事实通过 Stardog 三元组存储，支持高效查询与集成。
• 系统通过空间重叠和 SameAs 关系实现对地块实例的语义去重，提升了跨数据源的数据一致性。
• 时间序列分离服务的原型成功利用 OpenStreetMap 或现有数据中的地块边界，将与地块相关的作业数据与非地块数据（如行驶路径）分离，展示了实际应用价值。
• SDSD 平台使智能服务可通过统一接口获取所需数据，无需处理原始格式，显著降低了服务开发者的集成复杂度和成本。