[論文レビュー] Highway Driving Dataset for Semantic Video Segmentation

Byungju Kim, Junho Yim+1 more|arXiv (Cornell University)|Nov 2, 2020

Advanced Image and Video Retrieval Techniques被引用数 15

ひとこと要約

本論文は、20の高フレームレート（30Hz）シーケンスを完全に画素レベルでアノテートした、時間的・空間的に高密度な動画ベンチマークであるHighway Drivingデータセットを紹介する。また、時間的相関を活用することで、競争力ある精度を維持しながら実時間推論を達成する軽量で再帰的なベースラインモデルを提案し、プリミング周波数制御により実行時間を著しく短縮した。

ABSTRACT

Scene understanding is an essential technique in semantic segmentation. Although there exist several datasets that can be used for semantic segmentation, they are mainly focused on semantic image segmentation with large deep neural networks. Therefore, these networks are not useful for real time applications, especially in autonomous driving systems. In order to solve this problem, we make two contributions to semantic segmentation task. The first contribution is that we introduce the semantic video dataset, the Highway Driving dataset, which is a densely annotated benchmark for a semantic video segmentation task. The Highway Driving dataset consists of 20 video sequences having a 30Hz frame rate, and every frame is densely annotated. Secondly, we propose a baseline algorithm that utilizes a temporal correlation. Together with our attempt to analyze the temporal correlation, we expect the Highway Driving dataset to encourage research on semantic video segmentation.

研究の動機と目的

• 自動走行シナリオにおける時間的高密度な動画セグメンテーションデータセットの不足に対処する。
• 推論時間を短縮することで、精度を損なわず実時間でのセマンティック動画セグメンテーションを可能にする。
• 動画セグメンテーション研究のための高時間的・空間的アノテーション密度を持つベンチマークデータセットを提供する。
• 時間的相関を活用して推論を高速化するベースラインアルゴリズムを開発する。
• 各フレームごとの高コストな深層ネットワークへの依存を減らすために、時間的整合性を活用できるかを示す。

提案手法

• 高速道路走行シナリオから20の高フレームレート（30Hz）動画シーケンスを収集し、画素レベルの完全なアノテーションを付与する。
• 隣接フレーム間の時間的整合性を保つために、フレームを順次アノテートする。
• 遅く正確なプリミングネットワークと、速く軽量な近似ネットワークから成る二本のブランチネットワークを提案する。
• 再帰的フレームワークを用いて、プリミングネットワークの予測結果を近似ネットワークを通じて後続フレームに伝搬する。
• プリミングネットワークの推論周波数を調整することで、推論速度と精度のバランスを制御する。
• 知識蒸留と時間的整合性損失を用いて、近似ネットワークがプリミングネットワークの出力を模倣するように学習する。

実験結果

リサーチクエスチョン

• RQ1 時間的相関を活用することで、最小限の実行時間で高い精度を達成できるか？
• RQ2 アノテーションの時間的密度が、セマンティック動画セグメンテーションモデルの性能と信頼性に与える影響は何か？
• RQ3 より深い、より正確なネットワークからの定期的予測によってガイドされた軽量ネットワークが、どれほど高い精度を維持できるか？
• RQ4 実時間でのセマンティック動画セグメンテーションシステムを設計でき、最先端モデルと同等の性能を維持できるか？
• RQ5 プリミング周波数が、推論速度とセグメンテーション精度のトレードオフに与える影響は何か？

主な発見

• Highway Drivingデータセットは、30Hzのフレームレートで完全にアノテートされた20の動画シーケンスを提供しており、CamVid（1Hz）など既存のデータセットよりも高い時間的密度を持つ。
• 提案されたベースラインアルゴリズムは、より強力なモデルと同等の性能を達成しながら、実行時間を著しく短縮している。性能はプリミング周波数の調整で制御可能である。
• 再帰的フレームワークにより、再プリミングなしで最大59フレームにわたり高品質な予測を維持でき、時間的伝搬の有効性を示している。
• 定性的な結果から、モデルはシーンの一貫性を保ち、特に時間的高密度アノテーションが利用可能な場合、動く物体を正確にセグメンテーションしている。
• アルゴリズムは一般化性が高く、微調整なしにCamVidデータセットでも一貫した性能を示しており、異なるデータセット間で安定した性能を発揮している。
• 実行時間はDRN基準で正規化されている。ベースラインは標準モデルよりも高速な推論を達成しながら、競争力ある精度を維持しており、時間的相関が計算負荷を低減する有効性を実証している。