[論文レビュー] Dont Even Look Once: Synthesizing Features for Zero-Shot Detection

Pengkai Zhu, Hanxiao Wang+1 more|arXiv (Cornell University)|Nov 18, 2019

Advanced Neural Network Applications参考文献 39被引用数 6

ひとこと要約

本論文は、未学習オブジェクトクラスの視覚的特徴を条件付き変分オートエンコーダ（CVAE）を用いて合成することで、未学習オブジェクトを含むバウンディングボックスにおける信頼度予測を向上させる、新しいゼロショット検出フレームワークDELOを提案する。未学習クラスの特徴を合成し、前景と背景のバランスを取るためのリサンプリング戦略を導入することで、Pascal VOCおよびMSCOCOで最先端の性能を達成し、テスト時データのアノテーションを一切必要とせず、未学習クラスの検出精度を顕著に向上させる。

ABSTRACT

Zero-shot detection, namely, localizing both seen and unseen objects, increasingly gains importance for large-scale applications, with large number of object classes, since, collecting sufficient annotated data with ground truth bounding boxes is simply not scalable. While vanilla deep neural networks deliver high performance for objects available during training, unseen object detection degrades significantly. At a fundamental level, while vanilla detectors are capable of proposing bounding boxes, which include unseen objects, they are often incapable of assigning high-confidence to unseen objects, due to the inherent precision/recall tradeoffs that requires rejecting background objects. We propose a novel detection algorithm Dont Even Look Once (DELO), that synthesizes visual features for unseen objects and augments existing training algorithms to incorporate unseen object detection. Our proposed scheme is evaluated on Pascal VOC and MSCOCO, and we demonstrate significant improvements in test accuracy over vanilla and other state-of-art zero-shot detectors

研究の動機と目的

• 従来の検出器が未学習オブジェクトを含むバウンディングボックスに対して高い信頼度を割り当てられないというゼロショットオブジェクト検出における重要な制限を解決すること。
• 未学習オブジェクトが低オブジェクトネススコアによりフィルタリングされてしまう、精度と再現率のトレードオフを克服すること。
• トレーニング時に未学習クラスのアノテーション例を必要とせず、テスト時においても学習済みおよび未学習の両方のオブジェクトを検出可能にする仕組みを実現すること。
• 未学習クラスの合成視覚的特徴を統合したトレーニングパイプラインを構築し、一般化性能および信頼度予測を向上させること。

提案手法

• 未学習オブジェクトクラスのセマンティック埋め込みを用いて、条件付き変分オートエンコーダ（CVAE）を訓練し、未学習クラスの合成視覚的特徴を生成する。
• 特徴品質と一貫性を向上させるために、再構成損失、信頼度予測損失、分類損失を組み合わせた複合損失関数でCVAEを最適化する。
• 特徴生成を監視し、意味的整合性を保証するために、信頼度予測器と属性分類器を統合した視覚的一致性チェッカーを導入する。
• フォーカル損失を模倣したリサンプリング戦略をトレーニング中に適用し、前景と背景のサンプルのバランスを取ることで、未学習オブジェクトの再現率を向上させる。
• 学習済みおよび未学習クラスの両方の合成特徴を生成し、トレーニングデータに組み込むことで、検出器が頑健な信頼度スコアを学習できるようにする。
• 信頼度予測器を、実際の学習済み特徴、合成された学習済み特徴、および合成された未学習特徴のすべてで同時に訓練することで、学習済みおよび未学習クラスの両方に一般化できるようにする。

実験結果

リサーチクエスチョン

• RQ1 未学習オブジェクトクラスの合成視覚的特徴は、ゼロショット検出における信頼度予測を向上させることができるか？
• RQ2 トレーニングパイプラインに合成特徴を組み込むと、未学習クラスにおける検出性能にどのような影響を与えるか？
• RQ3 視覚的一致性チェッカー内の各モジュール（信頼度予測器、属性分類器）が特徴品質および検出精度に与える影響は何か？
• RQ4 生成された未学習サンプルの数が検出性能およびモデル収束に与える影響は何か？
• RQ5 トレーニング中にリサンプリングを適用することで、前景・背景クラスの不均衡がどれほど緩和され、未学習オブジェクトの再現率が向上するか？

主な発見

• DELOは、Pascal VOCの10/10スプリットにおいて、未学習クラスの検出性能（TU）で59.5 mAPを達成し、最先端の性能を示した。この際、合成された未学習特徴のみを用いた。
• 信頼度予測器と属性分類器を含む視覚的一致性チェッカーは、性能向上に顕著な寄与を示し、監視なしのベースラインCVAEに比べてTU mAPを0.6ポイント向上させた。
• 未学習の合成サンプルを一切使用しない場合、TUおよびTMの両性能が2%以上低下し、ゼロショット検出において特徴合成の必要性を示している。
• 1,000個の合成未学習サンプルで性能が飽和することが判明し、効果的な一般化には少数の高品質な特徴で十分であることが示された。
• リサンプリング戦略は、前景・背景の不均衡を効果的に緩和し、学習済みクラスの精度を劣化させることなく、未学習オブジェクトの再現率を向上させた。
• ゼロショット認識モデルのファインチューニングなしでも、DELOは高品質なバウンディングボックスを維持し、予測の大部分が未学習オブジェクトを正しく局所化していた。