[論文レビュー] Polarity Loss for Zero-shot Object Detection

Shafin Rahman, Salman Khan+1 more|arXiv (Cornell University)|Nov 22, 2018

Multimodal Machine Learning Applications参考文献 53被引用数 45

ひとこと要約

本論文は Polarity Loss を導入し、語彙感知型メトリック学習と単段階 RetinaNet ベースの検出器を組み合わせて、MS-COCOおよび Pascal VOC で unseen objects を検出するための視覚-意味の整合性を改善し、mAP に顕著な向上をもたらします。

ABSTRACT

Conventional object detection models require large amounts of training data. In comparison, humans can recognize previously unseen objects by merely knowing their semantic description. To mimic similar behaviour, zero-shot object detection aims to recognize and localize 'unseen' object instances by using only their semantic information. The model is first trained to learn the relationships between visual and semantic domains for seen objects, later transferring the acquired knowledge to totally unseen objects. This setting gives rise to the need for correct alignment between visual and semantic concepts, so that the unseen objects can be identified using only their semantic attributes. In this paper, we propose a novel loss function called 'Polarity loss', that promotes correct visual-semantic alignment for an improved zero-shot object detection. On one hand, it refines the noisy semantic embeddings via metric learning on a 'Semantic vocabulary' of related concepts to establish a better synergy between visual and semantic domains. On the other hand, it explicitly maximizes the gap between positive and negative predictions to achieve better discrimination between seen, unseen and background objects. Our approach is inspired by embodiment theories in cognitive science, that claim human semantic understanding to be grounded in past experiences (seen objects), related linguistic concepts (word vocabulary) and visual perception (seen/unseen object images). We conduct extensive evaluations on MS-COCO and Pascal VOC datasets, showing significant improvements over state of the art.

研究の動機と目的

• 未知のオブジェクトをセマンティック説明を用いて検出・認識するゼロショット物体検出（ZSD）を動機づける。
• 意味表現を洗練させ、正例と負例のマージンを最大化して視覚-意味の整合性を向上させる。
• オブジェクトと背景の不均衡や unseen-background の混同を扱うマージンベースのペナルティと focal 損失を組み合わせた Polarity Loss を導入する。
• 外部語彙とメトリック学習を活用して、視覚特徴と意味表現をより良く整列させる。
• 新しい seen/unseen の分割を用いて MS-COCO と Pascal VOC で評価し、従来手法より改善を報告する。

提案手法

• Polarity Lossは Focal Loss をベースに、正クラスと負クラスの prediction 間のマージンを最大化する単調ペナルティを追加する (Eq. 6)。
• 負のデータを ground-truth クラス ℓ に対して p^i < p^ℓ となるように促すβ重み付けシグモイド（またはソフトプラスの variant）として実装されたペナルティ関数 f_p を導入する (Eq. 5)。
• 分類と回帰ヘッドを持つ end-to-end の単段階検出器（RetinaNet）へ拡張し、特徴を意味的に意味のあるワードベクトル空間へ射影する (Eq. 9/10)。
• 単語ベクトルを介して semantic 情報を埋め込み、固定の seen-word embeddings か語彙ベースのメトリック学習機構（δ(W_s MD)）を用いて視覚特徴をより広い語彙と関連付ける（Fig. 5c）。
• 語彙メトリック学習アプローチを用いて Semantics を更新する、辞書 D と学習可能なアテンション M を用いて p_v を得て、分類・回帰の双方のブランチにセマンティクスを組み込む (Eq. 10)。
• 分類器のセマンティクスの実装には二つのバリアントを提供: (a) 固定の W_s と単純な射影、(b) M と D を用いた語彙アテンションバリアント（Fig. 7）。
• Polarity Loss を分類に、標準の Smooth L1 を回帰に用いて訓練する; アンカーサンプリングと NMS を推論に使用する; unseen スコアは別の unseen-weighted projection (Eq. 11) で計算する。

実験結果

リサーチクエスチョン

• RQ1 視覚-意味の整合性をどのように強化して、背景から unseen objects を識別する ZSD を改善できるか？
• RQ2 マージンベースのポラリティ損失は、seen, unseen, background の区別を標準の focal loss を超えて改善できるか？
• RQ3 外部語彙と語彙駆動のメトリック学習を組み込むことでゼロショット検出性能は向上するか？
• RQ4 提案損失を用いた単段階検出器である RetinaNet は、従来の ZSD 手法と比べて ZSD のパフォーマンスをどう示すか？
• RQ5 新しい MS-COCO の seen/unseen 分割はゼロショット検出結果にどのような影響を及ぼすか？

主な発見

• MS-COCO と Pascal VOC におけるゼロショット検出での従来研究より顕著な改善。
• MS-COCO での二つの従来手法に対する mAP の絶対的な向上として 9.3 と 7.6 を報告（引用元）および他の関連結果。
• 本手法は実験で unseen クラスの最良 mAP を達成。
• 語彙駆動の意味的改良が unseen-background の混乱を減少させ、視覚特徴と意味の整合を跨ぐ適合を改善。
• Polarity Loss を用いた単段階検出器は unseen objects を効果的に検出・局在し、seen クラスの性能を維持できることを示す。