[論文レビュー] TCDCaps: Visual Tracking via Cascaded Dense Capsules

Ding Ma, Xiangqian Wu|arXiv (Cornell University)|Feb 26, 2019

Video Surveillance and Tracking Methods参考文献 21被引用数 6

ひとこと要約

TCDCapsは、段階的な訓練により増加するIoU閾値を用いることで、検出による追跡におけるずれを軽減するため、段階的密集セル（CDCaps）を導入する。セル内の密集接続ルーティングにより特徴の頑健性を向上させることで、多数のベンチマークで優れた追跡性能を達成する。

ABSTRACT

The critical challenge in tracking-by-detection framework is how to avoid drift problem during online learning, where the robust features for a variety of appearance changes are difficult to be learned and a reasonable intersection over union (IoU) threshold that defines the true/false positives is hard to set. This paper presents the TCDCaps method to address the problems above via a cascaded dense capsule architecture. To get robust features, we extend original capsules with dense-connected routing, which are referred as DCaps. Depending on the preservation of part-whole relationships in the Capsule Networks, our dense-connected capsules can capture a variety of appearance variations. In addition, to handle the issue of IoU threshold, a cascaded DCaps model (CDCaps) is proposed to improve the quality of candidates, it consists of sequential DCaps trained with increasing IoU thresholds so as to sequentially improve the quality of candidates. Extensive experiments on 3 popular benchmarks demonstrate the robustness of the proposed TCDCaps.

研究の動機と目的

• オンライン学習中に追跡による検出フレームワークにおけるずれ問題を軽減すること。
• 視覚追跡における多様な外観変化に耐えることができる頑健な特徴を学習すること。
• 真陽性/偽陽性分類のための最適な交差和集合（IoU）閾値を設定する課題に対処すること。
• 階層的で閾値を段階的に増加させる精錬プロセスを通じて、追跡における候補の質を向上させること。

提案手法

• 標準セルに密集ルーティングを拡張した密集接続セル（DCaps）を導入し、部分と全体の関係をよりよく保持し、外観変化を捉える能力を向上させる。
• 逐次的なDCapsを訓練する際に段階的に高いIoU閾値を適用する、段階的DCapsモデル（CDCaps）を提案する。
• セルネットワークの階層的構造を活用して空間的関係を維持し、特徴表現の頑健性を向上させる。
• 各段階でより厳しいIoU基準を課すマルチステージ訓練戦略を採用し、段階的に候補の質を向上させる。
• セルネットワークの動的ルーティング機構を活用するが、特徴学習効率を向上させるために密集接続を強化する。
• 新しい観測に基づいて適応的にトラッカーを更新できるオンライン学習設定で、CDCapsアーキテクチャを適用する。

実験結果

リサーチクエスチョン

• RQ1 セルネットワークにおける密集接続ルーティングは、視覚追跡における多様な外観変化下でも特徴の頑健性を向上させることができるか？
• RQ2 段階的訓練戦略と増加するIoU閾値は、検出による追跡におけるオブジェクト候補提案の質を向上させることができるか？
• RQ3 セルネットワークにおける部分と全体の関係の保持は、オンライン学習中に追跡のずれを低減できるか？
• RQ4 提案されたTCDCaps手法は、多様なベンチマークにおいて、既存の追跡手法と比較してどの程度頑健性に優れているか？

主な発見

• 提案されたTCDCaps手法は、3つの代表的な視覚追跡ベンチマークで最先端の性能を達成した。
• 密集接続セル（DCaps）の使用により、外観変化にわたる部分と全体の関係を保存することで、特徴表現が顕著に向上した。
• 段階的DCapsモデル（CDCaps）は、より高いIoU閾値を段階的に適用することで、候補提案の精錬を効果的に行い、追跡のずれを低減した。
• 特徴学習と候補精錬の向上により、遮蔽や運動変化を含む多様な追跡シナリオにおいても、本手法は頑健性を示した。
• 広範な実験により、階層的で閾値を段階的に増加させる訓練戦略が、より正確で安定した追跡結果をもたらすことが確認された。
• 本アーキテクチャは、特徴の頑健性と候補の質のバランスを効果的にとらせており、精度と安定性の両面でベースライン手法を上回った。