[論文レビュー] Resolving Semantic Confusions for Improved Zero-Shot Detection

Sandipan Sarma, Sushil Kumar+1 more|arXiv (Cornell University)|Dec 12, 2022

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本稿では、類似した意味的クラス間の混乱を軽減するため、三重項損失を用いて類似的なクラスのための判別的特徴を学習する条件付きワサーラインGANを訓練することで、生成的ゼロショット検出手法を提案する。同時に、サイクル整合性損失により視覚的・意味的整合性を強制することで、特徴の明確化を図る。この手法はMSCOCOで最先端の性能を達成し、PASCAL-VOCでも競争力のある結果を示す。未学習クラスの検出mAPが顕著に向上し、特徴の曖昧さが解消された。

ABSTRACT

Zero-shot detection (ZSD) is a challenging task where we aim to recognize and localize objects simultaneously, even when our model has not been trained with visual samples of a few target ("unseen") classes. Recently, methods employing generative models like GANs have shown some of the best results, where unseen-class samples are generated based on their semantics by a GAN trained on seen-class data, enabling vanilla object detectors to recognize unseen objects. However, the problem of semantic confusion still remains, where the model is sometimes unable to distinguish between semantically-similar classes. In this work, we propose to train a generative model incorporating a triplet loss that acknowledges the degree of dissimilarity between classes and reflects them in the generated samples. Moreover, a cyclic-consistency loss is also enforced to ensure that generated visual samples of a class highly correspond to their own semantics. Extensive experiments on two benchmark ZSD datasets - MSCOCO and PASCAL-VOC - demonstrate significant gains over the current ZSD methods, reducing semantic confusion and improving detection for the unseen classes.

研究の動機と目的

• 意味的類似性を持つクラス（例：'car' と 'train'）を区別できないゼロショット検出における意味的混乱を解消すること。
• 特徴生成中にクラス間の相違性を組み込むことで、未学習クラスの特徴の判別性を向上させること。
• 生成された特徴が元のクラス意味と整合するように、視覚的・意味的整合性を維持すること。
• 構造的特徴合成により、ゼロショットの視覚的・意味的埋め込み空間におけるハブネス問題を軽減すること。
• 従来のゼロショット検出と一般化ゼロショット検出の両設定で最先端の性能を達成すること。

提案手法

• 見出しクラスの特徴を用いて、分類損失を併用した条件付きワサーラインGAN（cWGAN）を訓練し、未学習クラスの特徴を生成する。
• 柔軟な意味的マージンを備えた三重項損失を導入し、意味的に類似したクラス間の特徴分離を訓練段階で強化する。
• 生成された視覚的特徴と元のクラス意味が再構成可能であることを保証するため、サイクル整合性損失を適用する。
• 条件付きGANにおけるモード崩壊を緩和するため、特徴正則化を用いることで、生成特徴の多様性を向上させる。
• 生成された特徴を用いてFaster R-CNN検出器を微調整し、未学習クラスの視覚データを学習せずに検出可能にする。
• 全訓練目的は5つの損失の組み合わせで構成される：分類損失、三重項損失、サイクル整合性損失、特徴正則化損失、敵対的損失。

実験結果

リサーチクエスチョン

• RQ1 三重項損失を用いて訓練された生成モデルは、類似クラス間の特徴判別性を向上させることで、ゼロショット検出における意味的混乱を軽減できるか？
• RQ2 生成された視覚的特徴とその意味的埋め込みの間でサイクル整合性を強制することで、未学習クラスの検出性能が向上するか？
• RQ3 MSCOCO や PASCAL-VOC といった困難なベンチマークにおいて、提案手法は最先端のZSD手法と比較してどのように性能を発揮するか？
• RQ4 損失成分の組み合わせや生成特徴数が検出mAPに与える影響は何か？
• RQ5 低視認性や新しいオブジェクトカテゴリを含む実世界のシナリオにも一般化可能か？

主な発見

• 提案手法は、従来のZSDおよび一般化ZSDの両設定において、MSCOCOで最先端のmAPを達成し、先行手法を上回った。
• PASCAL-VOCでは、未学習mAPが19.4%（2位）を記録し、前回SOTAとの差は0.4%にとどまり、特徴の分離性が顕著に向上した。
• 三重項損失が性能向上に最も寄与し、単独で使用した場合でもmAPが18.4%から19.4%に上昇した。これは、意味的混乱の解消に果たす三重項損失の中心的役割を示している。
• サイクル整合性損失は特徴の質と一貫性を向上させ、特に他の損失と組み合わせた場合にmAPの向上に寄与した。
• アブレーションスタディの結果、5つの損失成分をすべて使用した場合に最適な性能が得られ、MSCOCOでは1クラスあたり250個の生成特徴が検出精度を最適化した。
• 定性的な結果から、意味的に類似したクラス（例：car 対 train）の誤分類が減少しており、検出出力における意味的混乱の低減が確認された。