[논문 리뷰] Data Preparation in Agriculture Through Automated Semantic Annotation -- Basis for a Wide Range of Smart Services

Julian Klose, Markus Schröder외 3명|arXiv (Cornell University)|2019. 11. 15.

Semantic Web and Ontologies참고 문헌 1인용 수 4

한 줄 요약

이 논문은 농업 분야에서 이질적인 기계 생성 데이터 포맷을 RDF 기반 정의를 통해 표준화함으로써 자동화된 데이터 준비를 가능하게 하는 공동 작업형, 의미론적 주석 플랫폼인 Wikinormia를 제안한다. 파서를 통해 원시 데이터를 공간적, 시계열적, 의미론적 그래프 표현으로 변환함으로써 SDSD 플랫폼은 농민의 데이터 주권을 유지하면서도 표준화되고 의미론적으로 풍부한 데이터에 접근할 수 있는 스마트 서비스를 가능하게 하며, 확장 가능하고 상호운용 가능한 디지털 농업 워크플로우를 실현한다.

ABSTRACT

Modern agricultural technology and the increasing digitalisation of such processes provide a wide range of data. However, their efficient and beneficial use suffers from legitimate concerns about data sovereignty and control, format inconsistencies and different interpretations. As a proposed solution, we present Wikinormia, a collaborative platform in which interested participants can describe and discuss their own new data formats. Once a finalized vocabulary has been created, specific parsers can semantically process the raw data into three basic representations: spatial information, time series and semantic facts (agricultural knowledge graph). Thanks to publicly accessible definitions and descriptions, developers can easily gain an overview of the concepts that are relevant to them. A variety of services will then (subject to individual access rights) be able to query their data simply via a query interface and retrieve results. We have already implemented this proposed solution in a prototype in the SDSD (Smart Data - Smart Services) project and demonstrate the benefits with a range of representative services. This provides an efficient system for the cooperative, flexible digitalisation of agricultural workflows.

연구 동기 및 목표

• 다양한 제조사에서 제공하는 독점적이고 기계 전용 데이터 포맷으로 인한 농업 데이터 분열 문제를 해결한다.
• 느린 표준화 과정에 의존하지 않고도 제조사 간 데이터 상호운용성과 의미론적 이해를 가능하게 한다.
• 제3자 서비스와 데이터를 공유할 때도 농민이 데이터 주권을 확보할 수 있도록 세밀한 액세스 제어를 가능하게 한다.
• 통일된 쿼리 인터페이스를 통해 저수준의 데이터 포맷 복잡성을 추상화하여 스마트 농업 서비스 개발을 촉진한다.
• Semantic Web 기술을 활용하여 농업 분야에서 공동 작업형 데이터 포맷 기술 및 의미론적 풍부화를 위한 확장 가능하고 유연한 플랫폼을 구축한다.

제안 방법

• 자원 기술 기반(RDF)으로 기계로 읽을 수 있고 인간이 읽을 수 있는 의미론적 모델로 농업 데이터 포맷을 공동으로 정의할 수 있는 위키 유사 플랫폼인 Wikinormia를 활용한다.
• Wikinormia에서 정의한 스키마를 기반으로 원시 데이터(예: JSON, XML, 이진형)를 해석하는 파서를 구현하여 정보를 추출하고 구조화한다.
• 다양한 데이터 유형을 효과적으로 관리하기 위해 폴리글랏 영속성 아키텍처를 사용한다: 공간 데이터는 공간 인덱싱이 가능한 MongoDB에 저장하고, 시계열 데이터는 확장성을 확보하기 위해 Cassandra에 저장하며, 의미론적 사실은 Stardog 트리플스토어에 저장한다.
• 논리적 실체(예: 필드, 기계, 작업)를 고유한 URI를 가진 RDF 자원으로 모델링하여 공간적 동일성(SameAs 관계)을 통한 의미론적 연결 및 중복 제거를 가능하게 한다.
• 스마트 서비스가 표준화된 인터페이스를 통해 구조화된 데이터를 쿼리할 수 있도록 하여 원시 이질적 데이터 포맷에 직접 접근하는 것을 피한다.
• 실시간 데이터 수신을 위해 외부 시스템인 agrirouter와 통합하고, 필요에 따라 OpenStreetMap을 활용해 필드 경계를 추론한다.

실험 결과

연구 질문

• RQ1 이질적이고 제조사 전용인 농업 데이터 출처에서 의미론적으로 표준화되고 상호운용 가능한 방식으로 빠르게 처리할 수 있는가?
• RQ2 동적인 농업 환경에서 기존의 느린 표준화 과정에 비해 공동 작업형, 커뮤니티 중심의 데이터 포맷 기술 플랫폼이 얼마나 더 뛰어난 성능을 보일 수 있는가?
• RQ3 제3자 스마트 서비스가 처리된 농업 데이터를 소비할 수 있도록 하면서도 데이터 주권과 세밀한 액세스 제어를 어떻게 유지할 수 있는가?
• RQ4 의미론적 및 공간적 추론을 활용해 연속적인 기계 기록(예: 도로 주행 기록)에서 관련 있는 필드 운영 데이터를 자동으로 분리하는 것이 가능한가?
• RQ5 통합적이고 확장 가능한 데이터 플랫폼이 소규모 및 중소형 제공자들이 스마트 농업 서비스를 개발하는 데 필요한 복잡성과 비용을 줄일 수 있는가?

주요 결과

• Wikinormia 플랫폼은 농업 데이터 포맷의 공동 작업형, 확장 가능하고 기계로 처리 가능한 기술을 성공적으로 제공하였으며, ISOXML 및 NRW 농업 적용 데이터와 같은 지역 특화 형식까지도 지원한다.
• Wikinormia 정의 기반 파서는 원시 데이터를 공간적, 시계열적, 의미론적 그래프의 세 가지 표준화된 데이터 모델로 자동으로 변환할 수 있다.
• 폴리글랏 스토리지 아키텍처는 공간 데이터는 MongoDB, 시계열 데이터는 Cassandra, 의미론적 사실은 Stardog 트리플스토어를 통해 효과적으로 다양한 데이터 유형을 관리하며 효율적인 쿼리 및 통합을 가능하게 한다.
• 공간적 겹침과 SameAs 관계를 활용한 의미론적 중복 제거 기능을 통해 다양한 출처 간 데이터 일관성을 향상시켰다.
• 시계열 데이터 분리 프로토타입 서비스는 OpenStreetMap 또는 기존 데이터에서 유도한 필드 경계를 기반으로 필드 전용 작업 데이터를 비-필드 데이터(예: 이동 경로)에서 성공적으로 분리하여 실용적 유용성을 입증하였다.
• SDSD 플랫폼은 스마트 서비스가 원시 포맷을 다루지 않고도 통일된 인터페이스를 통해 필요한 데이터를 획득할 수 있도록 하여 서비스 개발자의 통합 복잡성과 비용을 크게 감소시켰다.