[논문 리뷰] Automated Quality Check of Sensor Data Annotations

Niklas Freund, Zekiye Ilknur-Öz외 4명|arXiv (Cornell University)|2026. 02. 19.

IoT and GPS-based Vehicle Safety Systems인용 수 0

한 줄 요약

논문은 다중 센서 철도 데이터 주석에 대한 자동 규칙 기반 품질 검사 프레임워크를 제시하고, 아홉 개의 탐지기를 도입하며 OSDaR23에서 평가된 고정밀 결과와 함께 오픈 소스 RailLabel-providerkit를 제공합니다.

ABSTRACT

The monitoring of the route and track environment plays an important role in automated driving. For example, it can be used as an assistance system for route monitoring in automation level Grade of Automation (GoA) 2, where the train driver is still on board. In fully automated, driverless driving at automation level GoA4, these systems finally take over environment monitoring completely independently. With the help of artificial intelligence (AI), they react automatically to risks and dangerous events on the route. To train such AI algorithms, large amounts of training data are required, which must meet high-quality standards due to their safety relevance. In this publication we present an automatic method for assuring the quality of training data, significantly reducing the manual workload and accelerating the development of these systems. We propose an open-source tool designed to detect nine common errors found in multi-sensor datasets for railway vehicles. To evaluate the performance of the framework, all detected errors were manually validated. Six issue detection methods achieved 100% precision, while three additional methods reached precision rates 96% and 97%.

연구 동기 및 목표

• 안전-필수 철도 인지 시스템을 위한 고품질 주석 센서 데이터의 필요성을 제시한다.
• 수작업 주석 검증 작업 부하를 줄이기 위한 자동 품질 검사 프레임워크를 도입한다.
• 다중 센서 철도 데이터셋에서 일반적인 주석 오류를 위한 아홉 개의 탐지기를 정의하고 구현한다.
• OSDaR23 데이터셋에서 탐지기를 평가하고 인간 검토로 결과를 검증한다.
• 데이터 품질 향상을 지원하기 위한 연구자와 산업계용 오픈 소스 도구를 제공한다.

제안 방법

• 주석 오류를 위한 아홉 개의 탐지기를 개발하되, 다섯 개는 철도 특화이고 네 개는 도메인 일반적이다.
• 탐지 규칙을 Python 알고리즘으로 구현한다.
• 주석 파일(JSON)을 원시 센서 데이터와 독립적으로 처리하여 품질을 평가한다.
• 정밀도를 측정하기 위해 수동 검토를 통해 자동으로 탐지된 오류를 검증한다.
• OSDaR23 데이터셋에서 인간 검증으로 결과를 확인하며 프레임워크를 테스트한다.
• RailLabel-providerkit을 오픈 소스 Python 라이브러리로 릴리스하여 손쉬운 도입을 가능하게 한다.

실험 결과

연구 질문

• RQ1 다중 센서 철도 데이터셋에서 자동 탐지기가 높은 정밀도로 일반적인 주석 오류를 식별할 수 있는가?
• RQ2 수동으로 검토된 정답에 대해 각 탐지기의 정밀도는 얼마나 되는가?
• RQ3 자동 검사 후 OSDaR23 데이터셋에서 주석 오류의 유병률은 어느 정도인가?
• RQ4 제안된 오픈 소스 도구가 연구자와 산업계가 데이터 파이프라인에 채택하기에 실용적인가?

주요 결과

• 여섯 개의 탐지기가 탐지한 오류에 대해 100%의 정밀도를 달성했다.
• 세 개의 탐지기가 96%에서 97%의 정밀도를 달성했고, 3–4%의 거짓 양성은 검토 시 제외되었다.
• OSDaR23의 모든 주석 요소를 대상으로 자동 검사에서 오류가 있는 것으로 발견된 비율은 2.18%이다.
• 최종 데이터셋에서 사람의 품질 검사로는 이전에 발견되지 않은 오류를 프레임워크가 검출했다.
• 소프트웨어 릴리스는 연구 커뮤니티와 산업계의 재현성과 접근성을 강조한다.