[論文レビュー] TrackletMapper: Ground Surface Segmentation and Mapping from Traffic Participant Trajectories

Jannik Zürn, S. M. Weber+1 more|arXiv (Cornell University)|Sep 12, 2022

Video Surveillance and Tracking Methods被引用数 4

ひとこと要約

TrackletMapperは、人間によるアノテーションデータを一切使用せずに、歩行者や車両の軌跡を用いて、歩道、道路、横断歩道などの地上表面の意味的セグメンテーションを自己教師付きフレームワークで行う。これらのトラジェクトリをエゴビュー画像に投影し、集約された表面マップを用いた自己蒸留を活用することで、車両中心のデータセットとは異なるドメインに起因するズレが顕著な歩行者中心の都市環境においても、分類精度が向上する。

ABSTRACT

Robustly classifying ground infrastructure such as roads and street crossings is an essential task for mobile robots operating alongside pedestrians. While many semantic segmentation datasets are available for autonomous vehicles, models trained on such datasets exhibit a large domain gap when deployed on robots operating in pedestrian spaces. Manually annotating images recorded from pedestrian viewpoints is both expensive and time-consuming. To overcome this challenge, we propose TrackletMapper, a framework for annotating ground surface types such as sidewalks, roads, and street crossings from object tracklets without requiring human-annotated data. To this end, we project the robot ego-trajectory and the paths of other traffic participants into the ego-view camera images, creating sparse semantic annotations for multiple types of ground surfaces from which a ground segmentation model can be trained. We further show that the model can be self-distilled for additional performance benefits by aggregating a ground surface map and projecting it into the camera images, creating a denser set of training annotations compared to the sparse tracklet annotations. We qualitatively and quantitatively attest our findings on a novel large-scale dataset for mobile robots operating in pedestrian areas. Code and dataset will be made available at http://trackletmapper.cs.uni-freiburg.de.

研究の動機と目的

• 車両中心のデータセットで学習された意味的セグメンテーションモデルを歩行者環境に適用する際のドメインギャップを解消すること。
• 歩行者視点の画像に対する高価な人間によるアノテーションを回避するため、観察可能な交通参加者の軌跡を活用すること。
• ロボットが収集したデータから、複数クラスの地上表面セグメンテーション（道路、歩道、横断歩道など）をスケーラブルかつ自動でアノテートするパイプラインを構築すること。
• 集約された意味的表面マップを用いた自己蒸留により、モデルの汎化性能と性能を向上させること。

提案手法

• ロボットのエゴ軌跡および追跡済みオブジェクトの軌跡（歩行者、車両など）をエゴビューのカメラ画像に投影し、スパarsな、複数クラスのピクセルレベルのアノテーションを生成する。
• オブジェクトの種別（例：歩行者対車両）を用いて地上表面のラベルを推定する：歩行者は歩道／歩行者区域を示し、車両は道路または横断歩道を示す。
• 複数のフレームにわたるモデル予測を空間的に集約することで、密度の高い意味的表面マップを構築し、アノテーションの一貫性とカバー範囲を向上させる。
• 集約された表面マップをカメラ画像空間に再投影することで、合成的な密度の高い学習ラベルを生成し、知識蒸留を適用する。
• スパースなトラジェクトリアノテーションと、蒸留された密度の高いアノテーションを用いて、エンドツーエンドで意味的セグメンテーションモデルを学習し、性能を向上させる。
• 歩行者中心の都市部を走行するモバイルロボットが収集した、新規の大規模データセット「Freiburg Pedestrian Scenes」を活用する。

実験結果

リサーチクエスチョン

• RQ1 人間によるアノテーションデータが存在しない状況でも、交通参加者の軌跡を信頼性高く用いて地上表面の意味的アノテーションを生成できるか？
• RQ2 エゴ軌跡のみの監視と比較して、トラジェクトリベースのアノテーションは、複数の地上表面クラスにおいて、分類精度にどのように寄与するか？
• RQ3 集約された表面マップを用いた自己蒸留は、標準的な監視学習に比べて、モデル性能をどの程度向上させるか？
• RQ4 不規則な交通行動やセンサノイズなどの現実世界の変動に対して、アノテーションパイプラインはどの程度頑健か？
• RQ5 視覚的に類似した地上表面（例：歩道と横断歩道）を有する複雑な都市環境においても、提案手法は汎用性を示せるか？

主な発見

• トラジェクトリベースのアノテーション手法は、障害物を除くすべてのクラスでエゴ軌跡のみの監視を上回る性能を示し、多様な交通参加者の行動を活用することの価値を示している。
• 集約された表面マップを用いた自己蒸留により、IoUスコアに顕著な向上が見られ、アノテーションの密度と一貫性の向上が要因であると考察される。
• TrackletMapperのアノテーションで学習したモデルは、Vistasで学習したモデルよりも汎化性能に優れており、車両中心のデータセットに共通する視点依存のバイアスを低減している。
• 定性的な結果から、セグメンテーションマスクが正解とよく一致していることが確認されたが、横断歩道と隣接する道路・歩道領域の区別には課題が残っている。
• 主な限界として、重複領域（特に横断歩道）でのクラスの混在（クラスの漏れ）や、位置特定の不正確さ、キャリブレーションの誤差、あるいはジャムウォークなどのルール違反行動への感受性が挙げられる。