[論文レビュー] M$^5$L: Multi-Modal Multi-Margin Metric Learning for RGBT Tracking

Zhengzheng Tu, Chun Lin+3 more|arXiv (Cornell University)|Mar 17, 2020

Video Surveillance and Tracking Methods参考文献 34被引用数 5

ひとこと要約

本稿では、RGBT追跡のためのマルチモーダル・マルチマージン度量学習フレームワーク、M$^5$Lを提案する。本手法は、構造化損失を用いて混乱をきたす陽性および陰性サンプルを明示的にモデル化することで、特徴の識別性を向上させる。モダリティ固有のマージンとクロスモダリティ制約を導入することで、大規模ベンチマーク上で最先端の手法を上回る性能を達成し、RGBT234で0.770の精度率および0.521の成功率を達成した。

ABSTRACT

Classifying the confusing samples in the course of RGBT tracking is a quite challenging problem, which hasn't got satisfied solution. Existing methods only focus on enlarging the boundary between positive and negative samples, however, the structured information of samples might be harmed, e.g., confusing positive samples are closer to the anchor than normal positive samples.To handle this problem, we propose a novel Multi-Modal Multi-Margin Metric Learning framework, named M$^5$L for RGBT tracking in this paper. In particular, we design a multi-margin structured loss to distinguish the confusing samples which play a most critical role in tracking performance boosting. To alleviate this problem, we additionally enlarge the boundaries between confusing positive samples and normal ones, between confusing negative samples and normal ones with predefined margins, by exploiting the structured information of all samples in each modality.Moreover, a cross-modality constraint is employed to reduce the difference between modalities and push positive samples closer to the anchor than negative ones from two modalities.In addition, to achieve quality-aware RGB and thermal feature fusion, we introduce the modality attentions and learn them using a feature fusion module in our network. Extensive experiments on large-scale datasets testify that our framework clearly improves the tracking performance and outperforms the state-of-the-art RGBT trackers.

研究の動機と目的

• RGBT追跡における混乱をきたすサンプルの課題に対処すること。具体的には、通常の陽性サンプルが混乱をきたす陽性サンプルよりもアーキテクチャに近くなることが多いこと。
• 度量学習の過程で、サンプルの内在的な構造的情報を（例えば、混乱をきたすサンプルと通常のサンプル間の相対的距離など）保持すること。
• RGBと赤外特徴間のドメインギャップを低減することで、クロスモダリティの整合性を向上させること。
• 学習可能なモダリティアテンション機構を用いて、特徴統合の質を向上させること。
• 混乱をきたすサンプルと通常のサンプルを明示的に定義されたマージンで分離する度量学習損失を開発すること。

提案手法

• 混乱をきたす陽性サンプルを[α−β, α]、通常の陽性サンプルを[α, α+m]、混乱をきたす陰性サンプルを[α+m, α+m+β]に分ける3つの区間を定義するマルチモーダル・マルチマージン構造化損失（MMSL）を提案する。
• 各モダリティ内での混乱をきたすサンプルと通常のサンプルの相対的距離構造を維持するため、モダリティ固有のマージン戦略を採用する。
• RGBと赤外モダリティ間の埋め込みを整合させるためにクロスモダリティ制約を導入し、両モダリティ間で陽性サンプルがアーキテクチャに陰性サンプルよりも近くなるように保証する。
• ターゲットの境界ボックスがアーキテクチャとして扱われるアーキテクチャベースのサンプリングを用いたトライオレット型の度量学習フレームワークを採用する。
• MMSL、モダリティ固有の分類損失、およびクロスモダリティ整合性損失を組み合わせた複合損失を最適化することで、ネットワークを訓練する。
• 学習可能なモダリティアテンションモジュールを用いて、ターゲットに対する関連性に基づき、RGBと赤外特徴を適応的に統合する。

実験結果

リサーチクエスチョン

• RQ1 標準的な度量学習を上回る性能を達成するため、混乱をきたす陽性および陰性サンプルを明示的にモデル化することは有効か？
• RQ2 混乱をきたすサンプルと通常のサンプル間の相対的距離構造を保持することは、特徴の識別性を向上させるか？
• RQ3 定義された区間で混乱をきたすサンプルを分離するマルチマージン損失戦略は、追跡のロバストネスを向上させるか？
• RQ4 クロスモダリティ制約は、マルチモーダル追跡における整合性と識別性にどのように影響を与えるか？
• RQ5 学習可能なモダリティアテンション機構は、特徴統合と追跡精度をどの程度向上させるか？

主な発見

• RGBT234データセットでは、M$^5$Lは0.770の精度率および0.521の成功率を達成し、ベースラインのRT-MDNet（0.734 PR、0.483 SR）を上回った。
• アブレーションスタディの結果、アテンションベースの統合モジュールとMMSL損失の両方が不可欠であることが確認され、いずれかを削除すると性能が著しく低下した。
• 最適なマージン $m = 0.2$ が最良の性能を示し、$m = 0$ や $m = 0.4$ と比較して精度率/成功率で3%の向上を示した。これはマージン選択の重要性を示している。
• パラメータ $\beta = 0.1$ が最も高い性能を示し、固定区間での最適化が効果的で、区間サイズに敏感であることを示した。
• クロスモダリティ損失 $L_{cross}$ は顕著な貢献を示し、GTOTでは2.4%、RGBT234では2.3%の成功率向上を達成した（これに起因しないアブレーションと比較）。
• 実行時間分析の結果、M$^5$LはRGBT234で14 fpsで動作し、ベースラインのMDNet（1 fps）よりも高速でありながら、優れた精度を達成した。