[論文レビュー] Unknown-Aware Object Detection: Learning What You Don't Know from Videos in the Wild

Xuefeng Du, Xin Wang+2 more|arXiv (Cornell University)|Mar 8, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本論文は、空間的・時間的未知分散蒸留とエネルギーに基づく不確実性正則化を用いて、野生の動画から多様な分布外（OOD）オブジェクトを蒸留する、未知対応型オブジェクト検出フレームワークである STUD を提案する。ラベルなし動画データを活用して人為的OODデータを必要とせず意思決定境界を正則化することで、STUD はSOTAのOOD検出性能を達成し、BDD100K においてFPR95を10%以上低減するとともに、インディストリビューション検出精度を維持する。

ABSTRACT

Building reliable object detectors that can detect out-of-distribution (OOD) objects is critical yet underexplored. One of the key challenges is that models lack supervision signals from unknown data, producing overconfident predictions on OOD objects. We propose a new unknown-aware object detection framework through Spatial-Temporal Unknown Distillation (STUD), which distills unknown objects from videos in the wild and meaningfully regularizes the model's decision boundary. STUD first identifies the unknown candidate object proposals in the spatial dimension, and then aggregates the candidates across multiple video frames to form a diverse set of unknown objects near the decision boundary. Alongside, we employ an energy-based uncertainty regularization loss, which contrastively shapes the uncertainty space between the in-distribution and distilled unknown objects. STUD establishes the state-of-the-art performance on OOD detection tasks for object detection, reducing the FPR95 score by over 10% compared to the previous best method. Code is available at https://github.com/deeplearning-wisc/stud.

研究の動機と目的

• 未知のオブジェクトに対して過剰に自信を持つ予測を生じがちな、現実世界のシナリオにおける分布外（OOD）オブジェクト検出という、重要だが未だ十分に検討されていない課題に対処すること。
• 高価な人為的OODデータのアノテーションを必要とせずに、オブジェクト検出器が未知オブジェクトに関する不確実性を学習できる方法を開発すること。
• 自然な動画データからの自己教師付き蒸留を用いて、インディストリビューションとOODオブジェクトの間の意思決定境界の一般化を向上させること。
• 動画に内在する空間的・時間的多様性を活用して、OOD検出の新しいパラダイムを確立すること。
• OOD検出性能を著しく向上させつつ、インディストリビューション検出精度を高い水準で維持すること。

提案手法

• 空間的・時間的未知蒸留（STUD）は、OOD測定を用いて参照フレームで未知オブジェクト候補を特定し、類似度に基づく重み付けを用いて特徴空間で線形結合することで、多様な蒸留済み未知オブジェクトを生成する。
• 複数の動画フレームにわたる蒸留済み未知オブジェクトの集約により、時間的多様性を捉え、OODに類似するサンプルの分布を豊かにする。
• エネルギーに基づく不確実性正則化損失を導入し、不確実性空間を対照的に形状付け、インディストリビューションオブジェクトに対しては高いスコア、蒸留済み未知オブジェクトに対しては低いスコアを促進する。
• 共有バックボーンに不確実性正則化ブランチを導入し、意思決定境界をより慎重なものに導くことで、オブジェクト検出とOOD検出を同時に最適化する。
• 生成的モデル（例：GAN）による合成OODやネガティブプロポーザルの使用を回避し、アブレーションスタディでこれが劣悪な性能を示すことが確認されている。
• 本手法は、BDD100K や Youtube-VIS といった標準的な動画データセット上で、標準的なIDアノテーションと自然な動画コンテンツのみを用いて、エンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 未アノテートの野生の動画から、人為的OODデータを必要とせずに、OODオブジェクトを効果的に蒸留し、OOD検出性能を向上させることができるか？
• RQ2 動画データに内在する空間的・時間的多様性をどのように活用すれば、モデル正則化に適した意味のある代表的未知オブジェクトプロキシを構築できるか？
• RQ3 エネルギーに基づく不確実性正則化は、オブジェクト検出におけるインディストリビューションとOODオブジェクトの間の意思決定境界を改善できるか？
• RQ4 実動画から未知オブジェクトを蒸留する手法が、合成OOD生成やネガティブプロポーザルベースの手法に比べ、OOD検出性能で優れているか？
• RQ5 インディストリビューション検出精度を損なわずに、OOD検出をどの程度向上させられるか？

主な発見

• STUD は、前人最高の手法と比較して、BDD100K データセットでFPR95スコアを10.88%低減し、優れたOOD検出性能を示した。
• 本手法は高いインディストリビューション検出精度を維持しており、OOD一般化がID性能の低下を伴わないことを示している。
• 定性的な結果から、STUD はOODオブジェクトに対する誤検出を低減し、それらの誤検出の信頼度スコアを通常の検出器と比較して低下させている。
• アブレーションスタディにより、空間的・時間的蒸留とエネルギーに基づく正則化が両方とも不可欠であり、本手法がGANベースの合成やネガティブプロポーザルベースのベースラインを上回っていることが確認された。
• 本フレームワークは、自然な動画データを活用して意味のあるOOD信号を効果的に抽出でき、高価なOODアノテーションの必要性を排除した。
• エネルギーに基づく不確実性正則化は、不確実性表面を効果的に形状付け、推論時にIDとOOD予測の分離をより良く可能にした。