[論文レビュー] Duality-Gated Mutual Condition Network for RGBT Tracking

Andong Lu, Cun Qian+3 more|arXiv (Cornell University)|Nov 14, 2020

Retinal Imaging and Analysis被引用数 4

ひとこと要約

本稿では、RGBT追跡のための双対ゲート付き相互条件ネットワーク（DMCNet）を提案する。この手法は、一方のモダリティからの判別的特徴をもう一方のモダリティの特徴学習の条件付きガイドとして用いることで特徴表現を向上させるとともに、双対ゲート機構を用いてノイズを抑制する。低品質なモダリティを効果的に活用し、突然のカメラ運動に強い光学フローに基づくリサンプリング戦略を組み合わせることで、4つのベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

Low-quality modalities contain not only a lot of noisy information but also some discriminative features in RGBT tracking. However, the potentials of low-quality modalities are not well explored in existing RGBT tracking algorithms. In this work, we propose a novel duality-gated mutual condition network to fully exploit the discriminative information of all modalities while suppressing the effects of data noise. In specific, we design a mutual condition module, which takes the discriminative information of a modality as the condition to guide feature learning of target appearance in another modality. Such module can effectively enhance target representations of all modalities even in the presence of low-quality modalities. To improve the quality of conditions and further reduce data noise, we propose a duality-gated mechanism and integrate it into the mutual condition module. To deal with the tracking failure caused by sudden camera motion, which often occurs in RGBT tracking, we design a resampling strategy based on optical flow algorithms. It does not increase much computational cost since we perform optical flow calculation only when the model prediction is unreliable and then execute resampling when the sudden camera motion is detected. Extensive experiments on four RGBT tracking benchmark datasets show that our method performs favorably against the state-of-the-art tracking algorithms

研究の動機と目的

• 追跡中に低品質なRGBおよび赤外モダリティにおける判別的特徴が十分に活用されていない問題に対処すること。
• 信頼性の低いモダリティからのノイズを除去しつつ、有用な情報を捨てないよう抑制すること。
• RGBT追跡における一般的な失敗要因である突然のカメラ運動に対する追跡のロバスト性を向上させること。
• 条件付き特徴学習を通じて、RGBおよび赤外ストリーム間で適応的かつ双方向の特徴モデュレーションを可能にすること。
• 必要に応じてのみアクティブ化される知的なリサンプリングにより、計算コストを抑えつつ高い精度を維持すること。

提案手法

• 一方のモダリティからの判別的特徴を条件付きコンテキストとして用い、もう一方のモダリティにおける特徴学習をガイドする相互条件モジュールを導入する。
• 特徴表現の強化と空間的コンテキストの捉え込みを図るため、相互条件モジュール内にマルチスケール畳み込み層を採用する。
• 2つの並列ゲートを備えた双対ゲート機構を設計し、条件付き特徴の精錬を図ることで、条件の質を向上させるとともにノイズ伝搬を低減する。
• モデル予測の信頼度が低下した場合にのみ作動する光学フローに基づくリサンプリング戦略を組み込み、計算オーバーヘッドを最小限に抑える。
• 両方のモダリティが互いの特徴学習を条件づける双方向特徴モデュレーション方式を採用し、ロバストなクロスモダリティ表現を実現する。
• 条件付きモジュール内でシフト操作を適用し、モダリティ間の特徴を整列させ、特徴統合の効率を向上させる。

Figure 1: Illustration of the effectiveness of our duality-gated mutual condition network (DMCNet) against a typical tracker MANet [ 12 ] on four examples in soccer , elecbike10 , car10 and soccer2 respectively. Herein, the first row represents the input RGB and thermal frames, and the second row de

実験結果

リサーチクエスチョン

• RQ1 低品質なモダリティからの判別的特徴を効果的に活用することで、RGBT追跡性能を向上させることができるか？
• RQ2 低品質なモダリティのノイズを抑制しつつ、有用な判別的信号を保持できるか？
• RQ3 双方向の条件付き特徴学習が追跡のロバスト性および精度に与える影響は何か？
• RQ4 軽量で適応的なリサンプリング機構は、計算コストを増加させることなく、突然のカメラ運動下での追跡を改善できるか？
• RQ5 双対ゲート付き相互条件モジュールの個々の構成要素が全体の性能にどのように寄与しているか？

主な発見

• DMCNetは4つのRGBT追跡ベンチマークで最先端の性能を達成し、RGBT234ではPR/SRが0.839/0.593、GTOTでは0.909/0.733を記録した。
• アブレーションスタディの結果、双対ゲート付き相互条件モジュールが性能向上に最も寄与していることが確認された一方で、リサンプリング戦略は不要な更新を回避することで時間コストを削減した。
• 双対ゲート機構を除去した場合（DMC-w/o-gate）は、RGBT234におけるPRが0.012低下し、ノイズ抑制におけるその重要性が示された。
• DMCモジュール内のマルチスケール畳み込みは、性能および速度に最も大きな影響を与えており、そのないバリアントと比較してPRが0.009向上した。
• 固定カメラのGTOTではリサンプリング戦略が作動しなかったため、動的運動シナリオにおけるターゲットドリブンな使用が確認された。
• DMCモジュールをFiLMに置き換えた場合、性能は低下した（PR: 0.812 vs. 0.820）ことから、提案された双対ゲート設計の優位性が裏付けられた。

Figure 2: Overall network architecture of our DMCNet. Herein, $\oplus$ , $\copyright$ denote the operations of element-wise addition and concatenation respectively.