[論文レビュー] SODA10M: Towards Large-Scale Object Detection Benchmark for Autonomous Driving

Jianhua Han, Xiwen Liang+8 more|arXiv (Cornell University)|Jun 21, 2021

Advanced Neural Network Applications参考文献 65被引用数 11

ひとこと要約

SODA10Mは、自動運転向けオブジェクト検出のための、初めての大規模かつ多様なベンチマークを提供する。32の都市および多様な条件下で、1000万枚のラベルなし画像と2万枚の完全にアノテートされた画像を含む。このデータセットにより、自己教師ありおよび半教師あり学習手法の評価が可能となり、実世界の走行シナリオにおける耐性を高めるために生データを活用できる。

ABSTRACT

Aiming at facilitating a real-world, ever-evolving and scalable autonomous driving system, we present a large-scale benchmark for standardizing the evaluation of different self-supervised and semi-supervised approaches by learning from raw data, which is the first and largest benchmark to date. Existing autonomous driving systems heavily rely on `perfect' visual perception models (e.g., detection) trained using extensive annotated data to ensure the safety. However, it is unrealistic to elaborately label instances of all scenarios and circumstances (e.g., night, extreme weather, cities) when deploying a robust autonomous driving system. Motivated by recent powerful advances of self-supervised and semi-supervised learning, a promising direction is to learn a robust detection model by collaboratively exploiting large-scale unlabeled data and few labeled data. Existing dataset (e.g., KITTI, Waymo) either provides only a small amount of data or covers limited domains with full annotation, hindering the exploration of large-scale pre-trained models. Here, we release a Large-Scale Object Detection benchmark for Autonomous driving, named as SODA10M, containing 10 million unlabeled images and 20K images labeled with 6 representative object categories. To improve diversity, the images are collected every ten seconds per frame within 32 different cities under different weather conditions, periods and location scenes. We provide extensive experiments and deep analyses of existing supervised state-of-the-art detection models, popular self-supervised and semi-supervised approaches, and some insights about how to develop future models. The data and more up-to-date information have been released at this https URL.

研究の動機と目的

• 自己教師ありおよび半教師ありオブジェクト検出の評価に向けた大規模で多様かつスケーラブルなベンチマークの不足に対処すること。
• 高価で手間のかかる徹底的な手動アノテーションに依存するのを減らし、広大な量のラベルなしデータと限られたラベル付きデータを組み合わせてモデルが学習できるようにすること。
• 夜間、極端な天候、都市環境など、多様な実世界の走行状況に一般化できる耐障害性の高いセンシングシステムの開発を支援すること。
• 実世界の分布シフトを反映する現実的で大規模なデータセットを用いて、自己教師ありおよび半教師ありアプローチの評価を標準化すること。
• 公開可能な包括的で包括的なベンチマークをリリースすることで、将来のスケーラブルで一般化可能なオブジェクト検出に関する研究の基盤を提供すること。

提案手法

• 32の多様な都市から10秒間隔で収集した1000万枚のラベルなし画像を収集し、天候、照明、都市／農村の景観の多様性を確保する。
• 6つの一般的なオブジェクトカテゴリ（例：車両、歩行者、自転車乗り）を対象に2万枚の画像をアノテートし、トレーニングおよび評価用の小規模だが高品質なラベル付きサブセットを提供する。
• ラベルなしデータでの事前学習と限られたラベル付きデータでのファインチューニングを可能にすることで、自己教師ありおよび半教師あり学習の評価を支援するようにデータセットを設計する。
• 時間的・空間的・環境的変動（昼／夜サイクル、異なる天候条件など）を含め、データの多様性を確保する。
• 全データセットおよび関連する評価プロトコルをリリースし、検出モデルの標準化されたベンチマーク評価を可能にする。
• 自己教師あり、自己教師あり、半教師ありモデルの間で広範なアブレーションスタディおよび比較を実施し、性能と一般化能力を分析する。

実験結果

リサーチクエスチョン

• RQ1 限られたアノテーション付きデータを有する大規模で実世界の自動運転検出ベンチマークにおいて、自己教師ありおよび半教師あり学習手法の性能はいかがなものか？
• RQ2 都市、天候、時間帯をカバーするデータの多様性が、オブジェクト検出モデルの一般化能力および耐障害性にどの程度影響を与えるか？
• RQ3 1000万枚のラベルなし画像での事前学習は、より小さなデータセットでの教師あり事前学習に比べて、どの程度性能向上をもたらすか？
• RQ4 既存の最先端検出モデルは、この新しいベンチマークにおける実世界の分布シフトを評価した際に、どの程度一般化できるか？
• RQ5 このデータセットにおける極端またはレアな状況下でのモデルの失敗モードと耐障害性を分析することで、どのような知見が得られるか？

主な発見

• SODA10Mベンチマークにより、わずか2万枚のラベル付きサンプルしか存在しない状況でも、1000万枚のラベルなし画像を用いた自己教師あり事前学習によって、オブジェクト検出の性能が顕著に向上する。
• 半教師あり学習手法は、大規模なラベルなしデータを効果的に活用することで、多様な走行状況にわたる一般化性能が向上していることが示された。
• SODA10Mで事前学習されたモデルは、夜間走行や悪天候などの分布シフトに対して、より高い耐障害性を示し、より小規模で多様性に欠けるデータセットで学習されたモデルを上回る性能を発揮した。
• ベンチマークは、現在の教師ありモデルがレアまたは分布外のシナリオで苦戦することを明らかにし、自己教師ありおよび半教師ありアプローチの必要性を強調した。
• 広範な分析から、空間的および時間的次元におけるデータの多様性が、モデルの一般化能力の向上および実世界での導入における失敗率の低減に不可欠であることが分かった。
• SODA10Mのリリースにより、自動運転のための大規模で実世界のオブジェクト検出における将来の手法の評価と比較のための標準化されたプラットフォームが提供された。