[論文レビュー] Annotation of Car Trajectories based on Driving Patterns

Sobhan Moosavi, Behrooz Omidvar-Tehrani+2 more|arXiv (Cornell University)|May 15, 2017

Data Management and Algorithms参考文献 6被引用数 4

ひとこと要約

本稿では、ドライブパターンに基づく車両軌跡のラベル付けのための2段階アノテーションフレームワークを提示する。クラウドソーシングによる専門家によるアノテーションの後、厳密なおよび緩い集約手法を用いて主観性を低減する。主な貢献は、公に利用可能な「アノテート済み車両軌跡データセット」（DACT）であり、軌跡セグメンテーションアルゴリズムの真値評価を可能にする。インターアノテーター整合性が向上し、CohenのKappa値が44％から約60％に上昇した。

ABSTRACT

Nowadays, the ubiquity of various sensors enables the collection of voluminous datasets of car trajectories. Such datasets enable analysts to make sense of driving patterns and behaviors: in order to understand the behavior of drivers, one approach is to break a trajectory into its underlying patterns and then analyze that trajectory in terms of derived patterns. The process of trajectory segmentation is a function of various resources including a set of ground truth trajectories with their driving patterns. To the best of our knowledge, no such ground-truth dataset exists in the literature. In this paper, we describe a trajectory annotation framework and report our results to annotate a dataset of personal car trajectories. Our annotation methodology consists of a crowd-sourcing task followed by a precise process of aggregation. Our annotation process consists of two granularity levels, one to specify the annotation (segment border) and the other one to describe the type of the segment (e.g. speed-up, turn, merge, etc.). The output of our project, Dataset of Annotated Car Trajectories (DACT), is available online at https://figshare.com/articles/dact_dataset_of_annotated_car_trajectories/5005289 .

研究の動機と目的

• ドライブ行動分析における軌跡セグメンテーションのための真値データセットの不足に対処すること。
• 構造化された2段階集約プロセスを用いて、軌跡アノテーションにおける主観性を低減すること。
• セグメント境界と行動ラベルの両方を含む、個人の車両軌跡をスケーラブルにアノテートするフレームワークの開発。
• トレーニングおよび評価のための、公に利用可能な高品質なデータセットの作成。
• コンセンサスに基づく集約と自動化ツールを用いて、軌跡アノテーションにおけるインターアノテーター整合性の向上。

提案手法

• 人間の専門家が軌跡セグメント境界とドライブパターンタイプをアノテートするためのクラウドソーシングタスクを実施した。
• 2段階の集約プロセス（「厳密」および「緩い」制約）を実装し、アノテーションの矛盾を解消し、一貫性を向上させた。
• 集約前後におけるインターアノテーター整合性の評価に、CohenのKappaとオーバーラップ指標を用いた。
• 集約段階での人間の主観性を低減するために、自動アノテーターロボット（AutoAnn）を活用した。
• 速度、進行方向、加速度の変化などの空間的・時間的基準を用いて、軌跡セグメントを定義した。
• 1データポイントあたり14の属性（時刻、位置、速度、進行方向、加速度、セグメントアノテーションなど）を含むDACTデータセットを構築した。

実験結果

リサーチクエスチョン

• RQ1 大規模データセットにおいて、人間による車両軌跡パターンアノテーションの主観性を効果的に低減する方法は何か？
• RQ2 構造化された集約技術を用いた場合、軌跡アノテーションにおけるインターアノテーター整合性はどの程度達成できるか？
• RQ3 「厳密」と「緩い」の2段階集約プロセスを用いることで、アノテーションの一貫性と信頼性はどの程度向上するか？
• RQ4 専門家によるアノテーションが施された、公に利用可能な車両軌跡データセットは、将来的な軌跡セグメンテーションおよび行動モデリング研究を支援できるか？
• RQ5 異なる評価指標（CohenのKappa対オーバーラップ）は、軌跡アノテーションの品質をどのように反映するか？

主な発見

• 集約プロセスを適用した後、CohenのKappaで測定したインターアノテーター整合性は、44％から約60％に上昇した。
• 「緩い」集約フェーズは、緩い制約のおかげで「厳密」フェーズよりも専門家アノテーションとの整合性が高かった。
• CohenのKappaは、オーバーラップ指標よりも高い整合性値を示した。これは、CohenのKappaが「Yes」と「No」両方のアノテーションを考慮しているためである。
• 「アノテート済み車両軌跡データセット」（DACT）は正常に構築され、https://figshare.com/articles/dact_dataset_of_annotated_car_trajectories/5005289 で公に利用可能である。
• このデータセットには、1データポイントあたり14の属性が含まれており、各軌跡についてセグメント境界と行動ラベル（例：加速、旋回、合流）が付与されている。
• アノテーションフレームワークは、専門家の入力を自動集約と組み合わせることで、研究用途における軌跡アノテーションの信頼性と有用性が著しく向上することを示した。