[論文レビュー] Automated Quality Check of Sensor Data Annotations

Niklas Freund, Zekiye Ilknur-Öz+4 more|arXiv (Cornell University)|Feb 19, 2026

IoT and GPS-based Vehicle Safety Systems被引用数 0

ひとこと要約

論文は多センサ railway データ注釈の自動・ルールベース品質検査フレームワークを提示し、9つの検出器と高精度の結果を持つ open-source RailLabel-providerkit を導入。OSDaR23 で評価された。

ABSTRACT

The monitoring of the route and track environment plays an important role in automated driving. For example, it can be used as an assistance system for route monitoring in automation level Grade of Automation (GoA) 2, where the train driver is still on board. In fully automated, driverless driving at automation level GoA4, these systems finally take over environment monitoring completely independently. With the help of artificial intelligence (AI), they react automatically to risks and dangerous events on the route. To train such AI algorithms, large amounts of training data are required, which must meet high-quality standards due to their safety relevance. In this publication we present an automatic method for assuring the quality of training data, significantly reducing the manual workload and accelerating the development of these systems. We propose an open-source tool designed to detect nine common errors found in multi-sensor datasets for railway vehicles. To evaluate the performance of the framework, all detected errors were manually validated. Six issue detection methods achieved 100% precision, while three additional methods reached precision rates 96% and 97%.

研究の動機と目的

• 安全 critical な鉄道認識システムのための高品質な注釈センサデータの必要性を動機付ける。
• 自動品質検査フレームワークを導入し manual な注釈検証作業を削減する。
• 多センサ鉄道データセットにおける一般的な注釈エラーの検出用9検出器を定義・実装する。
• OSDaR23 データセットで検出器を評価し、人間によるレビューで結果を検証する。
• データ品質向上を支援する研究者と産業界向けのオープンソースツールを提供する。

提案手法

• 注釈エラー用の9検出器を開発（鉄道特有5つ、ドメイン一般4つ）。
• 検出ルールを Python アルゴリズムとして実装する。
• 注釈ファイル（JSON）を生データとは独立して処理し品質を評価する。
• 自動検出エラーを人手によるレビューで検証し精度を測定する。
• OSDaR23 データセットでフレームワークをテストし結果を人手で検証する。
• RailLabel-providerkit をオープンソースの Python ライブラリとして公開し容易な導入を可能にする。

実験結果

リサーチクエスチョン

• RQ1 自動検出器は多センサ鉄道データセットの一般的な注釈エラーを高精度で識別できるか。
• RQ2 各検出器の精度は手動でレビューされたグラウンドトゥルースと比較してどの程度か。
• RQ3 自動検査後の OSDaR23 における注釈エラーの蔓延度はどれくらいか。
• RQ4 提案されたオープンソースツールは研究者と産業界がデータパイプラインに採用するのに実用的か。

主な発見

• 6つの検出器が検出したエラーについて100%の精度を達成。
• 3つの検出器が96%〜97%の精度を達成し、3〜4%の偽陽性はレビュー時に除外。
• OSDaR23 の全注釈要素で自動検査により2.18%にエラーがあることが判明。
• フレームワークは最終データセットで人間の品質検査では検出されなかったエラーを検出した。
• ソフトウェア公開は研究コミュニティと産業界の再現性とアクセス性を強調している。