[論文レビュー] Virtual KITTI 2.

Yohann Cabon, Naila Murray+1 more|arXiv (Cornell University)|Jan 29, 2020

Advanced Vision and Imaging参考文献 27被引用数 41

ひとこと要約

本論文は、fog、rain、回転したカメラを含む多様な条件下で、5つのKITTIトラッキングシーケンスを備えた、元のVirtual KITTIを拡張した合成データセット、Virtual KITTI 2を提示する。RGB、深度、セグメンテーション、フロー、シーンフローを含む豊富なアノテーションを提供し、自動運転認識タスクにおける最先端の評価を可能にする。

ABSTRACT

This paper introduces an updated version of the well-known Virtual KITTI dataset which consists of 5 sequence clones from the KITTI tracking benchmark. In addition, the dataset provides different variants of these sequences such as modified weather conditions (e.g. fog, rain) or modified camera configurations (e.g. rotated by 15 degrees). For each sequence, we provide multiple sets of images containing RGB, depth, class segmentation, instance segmentation, flow, and scene flow data. Camera parameters and poses as well as vehicle locations are available as well. In order to showcase some of the dataset's capabilities, we ran multiple relevant experiments using state-of-the-art algorithms from the field of autonomous driving. The dataset is available for download at this https URL.

研究の動機と目的

• 自動運転認識システムの訓練および評価に適した、多様で現実的で、完全にアノテートされた合成データセットのニーズに対応すること。
• 天候状態やカメラ設定を変更した新しいシーケンスバージョンを導入することで、元のVirtual KITTIデータセットを拡張すること。
• 認識アルゴリズムのベンチマークに適した、RGB、深度、セグメンテーション、フローを含む包括的なマルチモーダルアノテーションを提供すること。
• 制御可能でスケーラブルな合成環境を用いて、厳しい環境条件下での最先端アルゴリズムの評価を可能にすること。

提案手法

• KITTIトラッキングベンチマークからの5つのシーケンスクローンを生成するために、元のVirtual KITTIフレームワークを拡張すること。
• 合成データ拡張を適用して、fog や rain などの悪天候状態をシミュレートすること。
• 15度の回転を含むカメラ設定のバリエーションを導入し、センサーの不整合に対する耐性をテストすること。
• 同期されたマルチタスクアノテーション（RGB画像、深度マップ、セマンティックおよびインスタンスセグメンテーションマスク、オプティカルフロー、シーンフロー）を生成すること。
• 幾何的推論を支援するため、各フレームに対して正確なカメラ内部パrameters、外部パラメータ、および車両ポーズデータを提供すること。
• 最先端の認識アルゴリズムを用いてデータセットを検証し、実世界のベンチマークにおけるその有用性を示すこと。

実験結果

リサーチクエスチョン

• RQ1 fog や rain などの合成された悪天候状態下で、自動運転認識モデルの性能はどの程度低下するか？
• RQ2 15度の回転といったカメラ設定の変更は、深度推定およびフロー推定ネットワークの耐性にどの程度影響を与えるか？
• RQ3 Virtual KITTI 2 などの合成データセットは、マルチタスク認識タスクにおいて、実世界のドライブシナリオに効果的に一般化できるか？
• RQ4 制御可能な合成環境において、最先端のモデルはマルチモーダルアノテーション（例：シーンフロー、インスタンスセグメンテーション）に対してどの程度の性能を発揮するか？

主な発見

• Virtual KITTI 2 データセットは、多様な環境的要因およびセンサー設定において、認識モデルの一貫性ある評価を可能にする。
• Virtual KITTI 2 で訓練されたモデルは、合成されたfog や rain の下で測定可能な性能低下を示し、実世界の課題を反映している。
• 回転したカメラ設定の導入により、深度推定およびフロー推定における測定可能な誤差が生じ、センサーの不整合に対する感受性が顕在化している。
• 本データセットは、セマンティックおよびインスタンスセグメンテーション、オプティカルフロー、シーンフローを含む、エンドツーエンドのマルチタスク認識パイプラインの評価を可能にする。
• 最先端のアルゴリズムは Virtual KITTI 2 で競争力ある性能を発揮しており、合成データ評価のベンチマークとしての有効性が裏付けられている。
• 真値のカメラポーズおよび車両位置の可用性により、正確な軌道および運動推定評価が可能になっている。