[論文レビュー] BDD100K: A Diverse Driving Dataset for Heterogeneous Multitask Learning

Fisher Yu, Haofeng Chen+6 more|arXiv (Cornell University)|May 12, 2018

Advanced Neural Network Applications参考文献 36被引用数 204

ひとこと要約

本論文は BDD100K を紹介する。大規模で多様な運転映像データセットで、10 個の異種タスクと異種マルチタスク学習のベンチマークを備え、ドメインシフトと訓練戦略の分析も行う。

ABSTRACT

Datasets drive vision progress, yet existing driving datasets are impoverished in terms of visual content and supported tasks to study multitask learning for autonomous driving. Researchers are usually constrained to study a small set of problems on one dataset, while real-world computer vision applications require performing tasks of various complexities. We construct BDD100K, the largest driving video dataset with 100K videos and 10 tasks to evaluate the exciting progress of image recognition algorithms on autonomous driving. The dataset possesses geographic, environmental, and weather diversity, which is useful for training models that are less likely to be surprised by new conditions. Based on this diverse dataset, we build a benchmark for heterogeneous multitask learning and study how to solve the tasks together. Our experiments show that special training strategies are needed for existing models to perform such heterogeneous tasks. BDD100K opens the door for future studies in this important venue.

研究の動機と目的

• 豊富なマルチ粒度アノテーションを持つ大規模で多様な運転動画データセットを提供する。
• ピクセルレベル、領域ベース、時間的な幅広いタスクをサポートし、異種マルチタスク学習を可能にする。
• 運転シナリオにおける同型・階層的・異種マルチタスク学習のベンチマークとベースラインを確立する。
• タスクの多様性とデータドメインがクロスタスク転移と一般化に与える影響を検討する。
• タスク間のパフォーマンスを改善するためのアノテーション予算配分戦略を調査する。

提案手法

• 現実のルートからクラウドソース映像とGPS/IMUデータを用いて、100K 本の運転動画（720p、30fps）を収集・アノテーションする。
• 画像タグ付け、車線検出、走行可能領域のセグメンテーション、道路物体検出、セマンティックセグメンテーション、インスタンスセグメンテーション、Multiple Object Tracking (MOT)、MOT with segmentation (MOTS)、ドメイン適応、模倣学習を含む10のタスクを提供する。
• 同種、階層型、異種マルチタスク設定の下でベースライン手法を評価し、多様なタスク出力に対する訓練ニーズを明らかにする。
• 同一ドメイン内とクロスドメインの性能を比較することでドメインシフトの影響を分析する（例: Cityscapes vs. BDD100K、日中 vs. 夜間）。
• タスクカスケード（例: 検出が追跡を支援する、検出がセグメンテーションを支援する）を探求し、クロスタスクの利点と予算配分を理解する。

実験結果

リサーチクエスチョン

• RQ1 出力構造が異なる異種の運転タスクに対して、単一モデルはどの程度適用できるか。
• RQ2 BDD100K と他の運転データセットの間にどのようなドメインシフトが存在し、それが検出とセグメンテーションにどう影響するか。
• RQ3 共同／カスケード型のマルチタスク学習は、安価なアノテーションを用いて高価なタスクの性能を改善できるか。
• RQ4 異種マルチタスク学習でタスク間の性能を最大化するために、アノテーション予算をどのように配分すべきか。
• RQ5 追跡とセグメンテーションタスク（MOT/MOTS）を検出とセグメンテーションと一体化した統合フレームワークで組み合わせる際の課題と利点は何か。

主な発見

• このデータセットは異種マルチタスク学習を可能にし、異種タスクの組み合わせには特別な訓練戦略が必要であることを示している。
• データセット間および条件間には顕著なドメイン不一致が存在し（例: 日中 vs 夜間、都市部 vs 非都市部）、物体検出の性能に影響を与える。
• 共同訓練とカスケード型マルチタスク設定は、特定のタスクを改善できる（例: インスタンスセグメンテーションは検出データから利益を得る、MOTS は上流の検出/セグメンテーション信号から利益を得る）。
• より複雑なタスクをサポートするために、多様だが単純なタスクを追加することは、アノテーション予算が限られている場合には性能を向上させる可能性があるが、タスクとデータサイズによって効果は異なる。
• Cityscapes 対 BDD100K で訓練した場合、セマンティックセグメンテーションと物体検出に顕著なドメインシフトが見られ、新データセットの補完的な価値を示唆している。