[論文レビュー] Quasi-Dense Instance Similarity Learning

Jiangmiao Pang, Linlu Qiu+4 more|arXiv (Cornell University)|Jun 11, 2020

Video Surveillance and Tracking Methods参考文献 56被引用数 10

ひとこと要約

本稿では、1枚の画像ペairあたり数100個の領域提案を用いて類似度メトリクスを学習する、準密度なインスタンス類似度学習という手法を提案する。この手法により、単純な最近傍探索に基づく正確なインスタンスマッチングが可能となり、BDD100K や Waymo といったトラッキングベンチマークで最先端の性能を達成する。位置や運動のヒューリスティクスに依存せずに、MOTAがほぼ10ポイント向上する。

ABSTRACT

Similarity metrics for instances have drawn much attention, due to their importance for computer vision problems such as object tracking. However, existing methods regard object similarity learning as a post-hoc stage after object detection and only use sparse ground truth matching as the training objective. This process ignores the majority of the regions on the images. In this paper, we present a simple yet effective quasi-dense matching method to learn instance similarity from hundreds of region proposals in a pair of images. In the resulting feature space, a simple nearest neighbor search can distinguish different instances without bells and whistles. When applied to joint object detection and tracking, our method can outperform existing methods without using location or motion heuristics, yielding almost 10 points higher MOTA on BDD100K and Waymo tracking datasets. Our method is also competitive on one-shot object detection, which further shows the effectiveness of quasi-dense matching for category-level metric learning. The code will be available at this https URL.

研究の動機と目的

• 既存手法がインスタンス類似度学習にのみ疎な正例マッチングを用いるという制限を解決すること。
• 画像ペア全体にわたる高密度な領域提案を活用することで、インスタンスレベルの類似度学習を向上させること。
• 共同検出とトラッキングにおいて、後処理の位置または運動のヒューリスティクスに依存しないようにすること。
• 準密度な監視により、カテゴリレベルのメトリック学習を効果的に実現すること。
• 本手法の汎用性を検証するため、ワンショットオブジェクト検出において優れた性能を示すこと。

提案手法

• 本手法は、1枚の画像ペアあたり数100個の領域提案をサンプリングする準密度マッチング戦略を採用する。
• 対照的損失の目的関数を用いて、深層ニューラルネットワークが領域提案間の類似度スコアを予測するように学習する。
• 最近傍探索によって異なるインスタンスを信頼性高く区別できる特徴空間を学習する。
• 明示的なトラッキングヘッドや運動モデリングを避けており、学習済みの類似度メトリクスにのみ依存する。
• 大規模な正例および負例の領域提案ペアの集合を対象に、学習目的関数を最適化する。
• 最終的なモデルは、追加のヒューリスティクスを用いずに、エンドツーエンドの共同検出とトラッキングパイプラインに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 100個以上の領域提案による準密度監視は、疎なマッチングと比較してインスタンス類似度学習を改善できるか？
• RQ2 高密度な領域レベルの監視で学習された類似度メトリクスは、位置や運動の事前知識なしに共同検出とトラッキングに一般化できるか？
• RQ3 提案手法はワンショットオブジェクト検出においてどのように性能を示すか？これはカテゴリレベルのメトリック学習の有効性を示唆する。
• RQ4 BDD100K や Waymo といった標準的なトラッキングベンチマークで、最先端の性能を達成できるか？
• RQ5 学習済みの類似度メトリクスを用いる際、後処理のヒューリスティクスを削除すると、トラッキング性能にどのような影響を与えるか？

主な発見

• 本手法は、BDD100K トラックイングベンチマークで、既存手法と比較してMOTAがほぼ10ポイント高いスコアを達成した。
• Waymo トラックイングデータセットでも、MOTAがほぼ10ポイント向上し、先行手法を上回った。
• ワンショットオブジェクト検出においても優れた性能を示し、カテゴリレベルのメトリック学習の有効性を裏付けた。
• 学習済み特徴空間における単純な最近傍探索のみで、複雑なトラッキング部品を用いずに正確なインスタンスマッチングが可能となった。
• 位置や運動のヒューリスティクスを用いる既存手法でさえ、本手法に劣る結果となった。これは、学習済み類似度メトリクスの頑健性を示している。
• 本手法のコードは公開予定であり、再現性および今後の研究を支援する。