[논문 리뷰] Duality-Gated Mutual Condition Network for RGBT Tracking

Andong Lu, Cun Qian외 3명|arXiv (Cornell University)|2020. 11. 14.

Retinal Imaging and Analysis인용 수 4

한 줄 요약

이 논문은 RGBT 추적을 위한 이중성-게이팅 상호 조건 네트워크(DMCNet)를 제안하며, 한 모odal의 분류 특징을 다른 모달의 특징 학습을 위한 조건부 가이던스로 사용함으로써 특징 표현을 향상시키고, 이중성-게이팅 메커니즘을 통해 노이즈를 억제한다. 이 방법은 저품질 모달을 효과적으로 활용하고, 갑작스러운 카메라 운동에 대응하기 위해 광학 흐름 기반 리샘플링 전략을 통합함으로써 네 가지 벤치마크 데이터셋에서 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

Low-quality modalities contain not only a lot of noisy information but also some discriminative features in RGBT tracking. However, the potentials of low-quality modalities are not well explored in existing RGBT tracking algorithms. In this work, we propose a novel duality-gated mutual condition network to fully exploit the discriminative information of all modalities while suppressing the effects of data noise. In specific, we design a mutual condition module, which takes the discriminative information of a modality as the condition to guide feature learning of target appearance in another modality. Such module can effectively enhance target representations of all modalities even in the presence of low-quality modalities. To improve the quality of conditions and further reduce data noise, we propose a duality-gated mechanism and integrate it into the mutual condition module. To deal with the tracking failure caused by sudden camera motion, which often occurs in RGBT tracking, we design a resampling strategy based on optical flow algorithms. It does not increase much computational cost since we perform optical flow calculation only when the model prediction is unreliable and then execute resampling when the sudden camera motion is detected. Extensive experiments on four RGBT tracking benchmark datasets show that our method performs favorably against the state-of-the-art tracking algorithms

연구 동기 및 목표

• 추적 과정에서 저품질 RGB 및 열화상 모달에서의 분류 특징가 제대로 활용되지 않는 문제를 해결하기 위해.
• 유망한 정보를 기각하지 않고도 신뢰할 수 없는 모달에서 유래한 노이즈를 억제하기 위해.
• RGBT 추적에서 흔한 실패 케이스인 갑작스러운 카메라 운동에 대응하는 추적의 강건성을 향상시키기 위해.
• 조건부 특징 학습을 통해 RGB 및 열화상 스트림 간에 적응형이고 이중적인 특징 조절을 가능하게 하기 위해.
• 필요한 경우에만 작동하는 지능적인 리샘플링을 통해 계산 비용을 줄이고 정확도를 유지하기 위해.

제안 방법

• 한 모달의 분류 특징을 조건부 맥락으로 사용하여 다른 모달의 특징 학습을 안내하는 상호 조건 모듈을 도입한다.
• 상호 조건 모듈 내에서 다중 척도 컨볼루션 레이어를 활용하여 특징 표현을 향상시키고 공간적 맥락을 포착한다.
• 두 개의 병렬 게이트를 갖춘 이중성-게이팅 메커니즘을 설계하여 조건부 특징을 정밀하게 조정함으로써 조건 품질을 향상시키고 노이즈 전파를 감소시킨다.
• 모델 예측 신뢰도가 감소할 경우에만 작동하는 광학 흐름 기반 리샘플링 전략을 통합하여 계산 오버헤드를 최소화한다.
• 양방향 특징 조절 방식을 적용하여 양 모달이 상호로 특징 학습을 조절함으로써 강력한 교차 모달 표현을 가능하게 한다.
• 조건부 모듈에서 이동 연산을 적용하여 모달 간 특징를 정렬하고 특징 융합 효율을 향상시킨다.

Figure 1: Illustration of the effectiveness of our duality-gated mutual condition network (DMCNet) against a typical tracker MANet [ 12 ] on four examples in soccer , elecbike10 , car10 and soccer2 respectively. Herein, the first row represents the input RGB and thermal frames, and the second row de

실험 결과

연구 질문

• RQ1 저품질 모달에서 유도된 분류 특징가 RGBT 추적 성능 향상에 효과적으로 활용될 수 있는가?
• RQ2 유용한 분류 신호를 유지하면서 저품질 모달의 노이즈는 어떻게 억제할 수 있는가?
• RQ3 이중성 조건부 특징 학습이 추적의 강건성과 정확도에 미치는 영향은 무엇인가?
• RQ4 경량적이고 적응형인 리샘플링 메커니즘이 계산 비용을 증가시키지 않으면서도 갑작스러운 카메라 운동 상황에서 추적 성능을 향상시킬 수 있는가?
• RQ5 이중성-게이팅 상호 조건 모듈의 개별 구성 요소가 전체 성능에 기여하는 방식은 무엇인가?

주요 결과

• DMCNet은 네 개의 RGBT 추적 벤치마크에서 최신 기술 성능(SOTA)을 달성했으며, RGBT234에서 PR/SR 점수는 각각 0.839/0.593이고 GTOT에서 0.909/0.733이다.
• 제거 실험 결과, 이중성-게이팅 상호 조건 모듈이 성능 향상에 가장 기여하며, 리샘플링 전략은 불필요한 업데이트를 방지함으로써 시간 소비를 줄였다.
• 이중성-게이팅 메커니즘을 제거한 DMC-w/o-gate의 경우 RGBT234에서 PR이 0.012 감소하여, 노이즈 억제에 이 메커니즘이 핵심적인 역할을 한다는 것을 입증한다.
• DMC 모듈 내 다중 척도 컨볼루션은 속도와 성능에 가장 큰 영향을 미치며, 이를 제거한 변형 대비 PR을 0.009 향상시켰다.
• 고정된 카메라를 사용하는 GTOT에서는 리샘플링 전략이 작동하지 않아, 동적 운동 시나리오에서만 타겟된 사용이 가능하다는 점을 확인했다.
• FiLM을 DMC 모듈로 대체한 경우 성능이 낮아졌으며(PR: 0.812 vs. 0.820) 이는 제안된 이중성-게이팅 설계의 우수성을 입증한다.

Figure 2: Overall network architecture of our DMCNet. Herein, $\oplus$ , $\copyright$ denote the operations of element-wise addition and concatenation respectively.