[論文レビュー] Comparison Network for One-Shot Conditional Object Detection

Tengfei Zhang, Yue Zhang+5 more|arXiv (Cornell University)|Apr 4, 2019

Advanced Neural Network Applications参考文献 47被引用数 18

ひとこと要約

本論文では、クエリおよびターゲットの特徴を抽出するためのシアンズネットワークを用いて、条件付き確率問題として検出を定式化する、新しいワンショット条件付きオブジェクト検出フレームワーク「ComparisonNet」を提案する。2段階検出器を用いて、学習可能なメトリクスと照合することで、これらの特徴を比較し、非線形の条件付き確率を近似する。これにより、未学習クラスに対してもゼロショット推論が可能となり、災難的忘却を回避するトレーニングフリーでクラスに依存しない検出を実現し、Fashion-MNISTおよびPASCAL VOCで最先端の性能を達成する。

ABSTRACT

The current advances in object detection depend on large-scale datasets to get good performance. However, there may not always be sufficient samples in many scenarios, which leads to the research on few-shot detection as well as its extreme variation one-shot detection. In this paper, the one-shot detection has been formulated as a conditional probability problem. With this insight, a novel one-shot conditional object detection (OSCD) framework, referred as Comparison Network (ComparisonNet), has been proposed. Specifically, query and target image features are extracted through a Siamese network as mapped metrics of marginal probabilities. A two-stage detector for OSCD is introduced to compare the extracted query and target features with the learnable metric to approach the optimized non-linear conditional probability. Once trained, ComparisonNet can detect objects of both seen and unseen classes without further training, which also has the advantages including class-agnostic, training-free for unseen classes, and without catastrophic forgetting. Experiments show that the proposed approach achieves state-of-the-art performance on the proposed datasets of Fashion-MNIST and PASCAL VOC.

研究の動機と目的

• 十分なトレーニングサンプルが入手できない低データ環境におけるオブジェクト検出の課題に対処すること。
• ワンショット検出を条件付き確率問題として定式化し、未学習クラスへの一般化を向上させること。
• トレーニングを必要とせず、クラスに依存しない検出方法を開発し、推論時に災難的忘却を回避すること。
• 微調整や再トレーニングなしに、学習済みクラスおよび未学習クラスの両方に対してゼロショット検出を可能にすること。

提案手法

• クエリおよびターゲット画像の特徴をマージナル確率として抽出・マッピングするため、シアンズネットワークを採用する。
• 2段階検出器を用いて、抽出された特徴と学習可能なメトリクスを比較し、非線形の条件付き確率を近似する。
• 学習可能なメトリクスを用いてクエリおよびターゲット特徴間の比較を最適化するように、モデルをエンドツーエンドでトレーニングする。
• 学習済みメトリクスを活用して、追加のトレーニングなしに、学習済みおよび未学習クラスの両方のオブジェクト検出を推論段階で実現する。
• クラス予測と特徴埋め込み学習の分離により、クラスに依存しない検出を実現する。
• 新しいクラスに段階的微調整を施さないことで、災難的忘却に強く、以前に学習したクラスの性能を維持するようにフレームワークを設計する。

実験結果

リサーチクエスチョン

• RQ1 ワンショットオブジェクト検出を、一般化性能の向上に寄与する条件付き確率問題として効果的に定式化できるか？
• RQ2 シアンズネットワークを用いて、学習済みおよび未学習クラスの両方におけるゼロショット検出を可能にする特徴を抽出できるか？
• RQ3 学習可能なメトリクスにより、再トレーニングなしにクエリおよびターゲット特徴間の比較を正確に実現できるか？
• RQ4 未学習クラスのオブジェクト検出において、提案フレームワークが災難的忘却を回避できるか？
• RQ5 Fashion-MNISTおよびPASCAL VOCといったベンチマークデータセットにおいて、ワンショット条件でのフレームワークの性能はどの程度か？

主な発見

• ComparisonNetは、提案されたFashion-MNISTおよびPASCAL VOCのワンショット検出ベンチマークで最先端の性能を達成した。
• 初期学習後、追加のトレーニングなしに、学習済みおよび未学習クラスの両方のオブジェクトを正常に検出できた。
• フレームワークはクラスに依存しない検出を示しており、推論段階でクラス固有の適応を必要としない。
• 新しいクラスに微調整を必要としないため、災難的忘却を回避し、以前に学習したクラスの性能を保持した。
• 学習可能なメトリクスの活用により、クエリおよびターゲット特徴間の有効な比較が可能となり、低データ環境下での検出精度が向上した。
• 2段階検出器アーキテクチャは、シアンズ特徴埋め込みを効果的に活用し、複雑な条件付き確率をモデル化するのに有効であった。