[論文レビュー] One-Shot Object Detection without Fine-Tuning

Xiang Li, Lin Zhang+3 more|arXiv (Cornell University)|May 8, 2020

Advanced Neural Network Applications参考文献 29被引用数 18

ひとこと要約

本論文は、novelクラスにおける微調整を不要とする2段階ワンショットオブジェクト検出モデルを提案する。高再現率のプロポーザル生成のためのMatching-FCOSネットワークと、正確な分類と局所化のための構造に配慮した関係モジュール（SARM）を組み合わせたものである。本手法は、クエリ-サポート特徴類似度マイニングや第2段階の知識移行といった新しいトレーニング戦略を用いることで、PASCAL VOCでワンショット設定下で最先端の性能を達成し、微調整を必要とする先行手法を上回っている。

ABSTRACT

Deep learning has revolutionized object detection thanks to large-scale datasets, but their object categories are still arguably very limited. In this paper, we attempt to enrich such categories by addressing the one-shot object detection problem, where the number of annotated training examples for learning an unseen class is limited to one. We introduce a two-stage model consisting of a first stage Matching-FCOS network and a second stage Structure-Aware Relation Module, the combination of which integrates metric learning with an anchor-free Faster R-CNN-style detection pipeline, eventually eliminating the need to fine-tune on the support images. We also propose novel training strategies that effectively improve detection performance. Extensive quantitative and qualitative evaluations were performed and our method exceeds the state-of-the-art one-shot performance consistently on multiple datasets.

研究の動機と目的

• 1枚のアノテート済みサポート画像でのみ新しいオブジェクトカテゴリを検出する課題に対処し、サポート画像における微調整の必要性を回避する。
• 微調整に依存する既存の少データ検出手法の限界を克服し、過学習を防ぎ、実用性を向上させる。
• メトリック学習をアンカーフリーでFaster R-CNNスタイルの検出パイプラインと統合することで、低データ環境下での検出性能を向上させる。
• クラス内ばらつきを低減し、未学習クラスの特徴表現を強化するトレーニング戦略を開発する。
• サポート画像とクエリ画像間の構造的・関係的特徴を活用することで、novelクラスへの一般化を可能にする。

提案手法

• 2段階検出パイプラインを導入：第1段階では、メトリック学習を用いてサポートとクエリ特徴をフィードフォワード形式で一致させることで、高再現率のオブジェクトプロポーザルを生成するMatching-FCOSを採用する。
• 第2段階では、サポートとクエリ特徴間の空間的関係をモデル化することで、細分化された分類とボックス回帰を実行する構造に配慮した関係モジュール（SARM）を採用する。
• クラス内ばらつきを低減するため、クエリとサポート画像間の高類似度特徴ペアを選択するクエリ-サポート特徴類似度マイニングを提案する。
• 水平反転によるサポートオーグメンテーションを適用し、未学習のオブジェクト方向に対してより高い不変性と一般化性能を向上させる。
• 低品質なプロポーザルを第2段階分類の前段階でフィルタリングすることで、トレーニング品質を向上させるため、グランドトゥルース・カーリテッドプロポーザルを用いる。
• 第2段階知識移行（SSKT）を実装し、FSSなどの追加データセットから知識を移行することで、SARMの分類能力を向上させつつ、局所化性能を劣化させない。

実験結果

リサーチクエスチョン

• RQ1 サポート画像における微調整を一切行わないワンショットオブジェクト検出モデルは、高い性能を達成できるか？
• RQ2 メトリック学習は、アンカーフリーで2段階の検出フレームワークに効果的に統合可能か？ これにより、少データ一般化性能が向上するか？
• RQ3 特徴類似度マイニングやプロポーザルキュレーションといったトレーニング戦略は、低ショット設定下での検出精度をどの程度向上させるか？
• RQ4 補助データセットからの知識移行は、局所化性能に悪影響を及げることなく、第2段階分類器の性能を向上させられるか？
• RQ5 サポート-クエリ特徴間の構造的関係モデリングは、ワンショット状況下での検出精度をどの程度向上させるか？

主な発見

• 提案手法は、ワンショット検出設定下でPASCAL VOCで46.1%のAP 50を達成し、微調整を必要とするLSTD や Repmet といった最先端手法を顕著に上回った。
• クエリ-サポート特徴類似度マイニングは、ベースラインと比較してAP 50を5.8ポイント向上させ、トレーニングにおけるクラス内ばらつき低減の有効性を示した。
• 水平反転によるサポートオーグメンテーションは、AP 50を1.9%向上させ、畳み込みニューラルネットワークのオブジェクト方向に対する不変性の欠如を補完するデータオーグメンテーションの有効性を示した。
• グランドトゥルース・カーリテッドプロポーザルは、AP 50を0.8%向上させ、低品質なプロポーザルをフィルタリングすることでSARMのトレーニングが向上することを示した。
• 第2段階知識移行（SSKT）は、FSSデータへの直接トレーニングと比較してAP 50を2.8%向上させ、分類性能を向上させる一方で局所化性能に悪影響を及げない能力を裏付けた。
• アブレーションスタディにより、すべての提案トレーニング戦略が性能向上に顕著に寄与していることが確認され、SARMはAP 50およびAP 75の両方でグローバル平均および標準のFaster R-CNNヘッドを上回った。