[論文レビュー] Few-Shot Learning for Road Object Detection

Anay Majee, Kshitij Agrawal+1 more|arXiv (Cornell University)|Jan 29, 2021

Domain Adaptation and Few-Shot Learning参考文献 29被引用数 13

ひとこと要約

本稿では、インドドライブデータセット（IDD）を用いて、実世界のドライブシナリオにおける few-shot 物体検出フレームワークを提案し、メトリクス学習（FsDet）とメタラーニングアプローチを比較する。同じドメインの分割では、メトリクス学習によるコサイン類似度がメタラーニングを11.2 mAPポイント上回り、オープンセットの分割では1.0 mAPポイント上回ることを示し、低データ量、クラス不均衡な道路オブジェクト検出においてその優位性を強調している。

ABSTRACT

Few-shot learning is a problem of high interest in the evolution of deep learning. In this work, we consider the problem of few-shot object detection (FSOD) in a real-world, class-imbalanced scenario. For our experiments, we utilize the India Driving Dataset (IDD), as it includes a class of less-occurring road objects in the image dataset and hence provides a setup suitable for few-shot learning. We evaluate both metric-learning and meta-learning based FSOD methods, in two experimental settings: (i) representative (same-domain) splits from IDD, that evaluates the ability of a model to learn in the context of road images, and (ii) object classes with less-occurring object samples, similar to the open-set setting in real-world. From our experiments, we demonstrate that the metric-learning method outperforms meta-learning on the novel classes by (i) 11.2 mAP points on the same domain, and (ii) 1.0 mAP point on the open-set. We also show that our extension of object classes in a real-world open dataset offers a rich ground for few-shot learning studies.

研究の動機と目的

• 限られたアノテーションデータとクラス不均衡な状況下における、実世界のドライビングシナリオにおける few-shot 物体検出の課題に対処すること。
• インドドライブデータセット（IDD）を用いて、同じドメインおよびオープンセットのシナリオを含む現実的な設定で、few-shot ラーニング手法を評価すること。
• few-shot ラーニングに適したベンチマークとしての適合性を高めるために、IDD データセットを再分類し、代表が不足している車両カテゴリ（ストリートカート、トレイクター、ウォータータンカーなど）を新たな低頻度オブジェクトカテゴリに再定義すること。
• 少数のトレーニングサンプルでのレアな道路オブジェクト検出において、メトリクス学習とメタラーニングアプローチの性能を比較すること。
• 自動運転アプリケーションにおける few-shot 検出において、クラスの混同と深刻な忘却（catastrophic forgetting）が及える影響を調査すること。

提案手法

• 『vehicle-fallback』クラスを再分類し、ストリートカート、トレイクター、ウォータータンカーなど、新たな低頻度オブジェクトカテゴリに分類したインドドライブデータセット（IDD）を活用する。
• 特徴フュージョンネットワーク（FPN）を搭載した ResNet-101 バックボーンを用い、特徴マッチングにコサイン類似度を用いたメトリクス学習ベースの手法 FsDet を実装する。
• エピソード学習を用いたメタラーニングベースの手法（Meta-RCNN、Meta-Reweight、Add-Info）を適用し、N ワイ、K ショット設定におけるサポートセットとクエリセットを用いた学習を実施する。
• 全モデルを2段階のトレーニングで学習：まず10個のベースクラス（1クラスあたり2000枚）でベーストレーニングを実施し、その後10ショットのサンプルを用いて新規クラスでファインチューニングを行う。
• すべてのバックボーンに対して、標準的なデータオーグメンテーション（水平反転、ランダムクロップ）と ImageNet 事前学習重みを適用する。
• バリデーションスプリットにおける性能を mAP@50 で評価し、IDD-10（同じドメイン）および IDD-OS（オープンセット）スプリット（10個のベースクラスと4個の新規クラス）を含む。

実験結果

リサーチクエスチョン

• RQ1 クラス不均衡な実世界ドライブデータセットにおいて、メトリクス学習とメタラーニング手法は、few-shot 物体検出でどのように比較されるか？
• RQ2 新規の低頻度道路オブジェクトカテゴリに適応する際、ベースクラスの性能が低下するか？
• RQ3 視覚的に類似したオブジェクト（例：トラック vs. 車、自転車 vs. モーターサイクル）間のクラスの混同が、few-shot 検出性能に及える影響はどの程度か？
• RQ4 拡張されたラベルを有する実世界のオープンセットデータセット（例：IDD）は、few-shot 物体検出研究の有効なベンチマークとして適しているか？
• RQ5 自動運転の文脈において、新規クラス検出精度に与える影響として、特徴類似度学習とメタ最適化の違いは何か？

主な発見

• 同じドメインの IDD-10 スプリットにおいて、メトリクス学習ベースの FsDet モデルは新規クラス検出でメタラーニング手法を11.2 mAPポイント上回った。
• オープンセットの IDD-OS スプリットにおいても、FsDet は新規クラスでメタラーニングベースラインを1.0 mAPポイント上回り、一貫した優位性を示した。
• Meta-RCNN や Add-Info などのメタラーニングモデルは、ベースクラス性能に顕著な低下（最大15％の低下）を示したが、FsDet は安定したベースクラス mAP を維持した。
• クラスの混同は主な課題である：視覚的に類似したクラス（例：トラック vs. 車、ウォータータンカー vs. 車）間で、予測の最大40％が誤分類された。
• 予測ヘッドに追加の特徴を組み込むことで、メタラーニングモデルの性能低下が緩和された。これは、アーキテクチャ設計が安定性に影響を与える可能性を示唆している。
• 4つの新規クラスを含む拡張された IDD-OS データセットは、自動運転分野における今後の few-shot ラーニング研究に適した現実的でオープンセットのベンチマークを提供する。