[논문 리뷰] Transformer Tracking with Cyclic Shifting Window Attention

Zikai Song, Junqing Yu외 2명|arXiv (Cornell University)|2022. 05. 08.

Video Surveillance and Tracking Methods인용 수 11

한 줄 요약

이 논문은 픽셀 수준의 어텐션을 다중 척도 순환 이동 윈도우 어텐션으로 대체하여 객체의 통합성과 정밀도를 유지하고 정위치 정확도를 향상시키는 트랜스포머 기반 시각적 객체 추적기인 CSWinTT를 제안한다. 특징 맵을 겹치지 않는 윈도우로 분할하고 순환 이동을 적용하여 다양한 맥락 인식 어텐션 샘플을 생성함으로써, VOT2020, UAV123, LaSOT, TrackingNet, GOT-10k와 같은 다섯 가지 주요 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하면서도 최적화 전략을 통해 효율적인 계산을 유지한다.

ABSTRACT

Transformer architecture has been showing its great strength in visual object tracking, for its effective attention mechanism. Existing transformer-based approaches adopt the pixel-to-pixel attention strategy on flattened image features and unavoidably ignore the integrity of objects. In this paper, we propose a new transformer architecture with multi-scale cyclic shifting window attention for visual object tracking, elevating the attention from pixel to window level. The cross-window multi-scale attention has the advantage of aggregating attention at different scales and generates the best fine-scale match for the target object. Furthermore, the cyclic shifting strategy brings greater accuracy by expanding the window samples with positional information, and at the same time saves huge amounts of computational power by removing redundant calculations. Extensive experiments demonstrate the superior performance of our method, which also sets the new state-of-the-art records on five challenging datasets, along with the VOT2020, UAV123, LaSOT, TrackingNet, and GOT-10k benchmarks.

연구 동기 및 목표

• 기존 트랜스포머 기반 시각적 추적기에서 픽셀 수준의 어텐션을 사용할 경우 발생하는 공간적 및 구조적 통합성 손실 문제를 해결하기 위해.
• 윈도우 수준의 어텐션 메커니즘을 통해 객체 수준의 구조를 유지함으로써 추적 정확도를 향상시키기 위해.
• 다중 척도 순환 이동을 적용하여 수용 영역과 맥락 다양성을 확장함으로써 특징 표현 및 구별 능력을 향상시키기 위해.
• 순환 이동으로 인해 발생하는 계산의 중복을 줄이면서도 높은 추적 속도를 유지하기 위해.
• 순환 이동으로 인한 윈도우 경계에서 발생하는 경계 아티팩트를 완화하기 위해 공간적으로 정규화된 어텐션 마스크를 개발하기 위해.

제안 방법

• 특징 맵을 겹치지 않는 윈도우로 분할하여 각 윈도우를 단일 단위로 간주함으로써 어텐션 계산 중 내부 공간 일관성과 객체 통합성을 유지한다.
• 각 윈도우에 다중 척도 순환 이동을 적용하여 다수의 이동된 버전을 생성함으로써 맥락의 다양성을 증가시키고 어텐션 정확도를 향상시킨다.
• 순환 이동으로 인해 윈도우 경계에서 성능 저하가 발생하는 것을 억제하기 위해 공간적으로 정규화된 어텐션 마스크를 도입한다.
• 세 가지 계산 최적화 전략을 제안한다: 쿼리에서 순환 이동을 제거하는(RMQ), 이동 주기를 반으로 줄이는(Peri), 그리고 PyTorch 행렬 순열 기법을 사용하는(Prog) 빠른 행렬 연산을 위한 전략이다.
• 다중 척도에서 템플릿 영역과 검색 영역의 윈도우 간 크로스 윈도우 멀티헤드 어텐션을 계산함으로써 세밀한 매칭과 가림막에 대한 강건성을 확보한다.
• 계층적 트랜스포머 아키텍처는 다중 척도에서 특징을 처리하며, 각 단계에서 윈도우 분할과 이동을 적용하여 점진적으로 수용 영역을 확장한다.

실험 결과

연구 질문

• RQ1 픽셀 수준의 어텐션을 윈도우 수준의 어텐션으로 대체함으로써 객체의 통합성을 유지함으로써 추적 정확도를 향상시킬 수 있는가?
• RQ2 윈도우의 순환 이동이 시각적 추적에서 어텐션 표현과 구별 능력을 어떻게 향상시키는가?
• RQ3 공간적으로 정규화된 어텐션 마스크는 순환 이동으로 인한 경계 아티팩트를 효과적으로 줄일 수 있는가?
• RQ4 실시간 추적에 실용적으로 적용하기 위해 순환 이동 윈도우 어텐션을 최적화하기 위한 계산 전략은 무엇이 필요한가?
• RQ5 단일 척도나 픽셀 수준의 어텐션과 비교해 다중 척도 윈도우 어텐션은 가림막 및 간섭 물체에 대해 더 강건한가?

주요 결과

• 제안된 CSWinTT 추적기는 VOT2020, UAV123, LaSOT, TrackingNet, GOT-10k와 같은 다섯 가지 주요 시각적 추적 벤치마크에서 새로운 최신 기술 수준 성능을 달성하였다.
• 계산 최적화를 통해 추적 속도가 최적화 없이 1 FPS인 베이스라인 대비 12.4 FPS로 크게 향상되었다.
• 공간적으로 정규화된 어텐션 마스크는 순환 이동으로 인한 윈도우 경계에서의 성능 저하를 효과적으로 감소시켰다.
• 시각화 결과는 순환 이동 윈도우 어텐션이 특히 가림막이나 유사 간섭 물체가 있는 상황에서 더 구별 능력 있는 어텐션 맵을 생성함을 보여주었다.
• 제거 실험 결과는 순환 이동과 다중 척도 어텐션의 중요성을 확인하였으며, RMQ와 Peri 최적화 전략이 속도 향상에 기여함을 입증하였다.
• 윈도우 수준의 어텐션을 통해 객체 부분의 통합성을 유지함으로써, 가림막 및 배경 혼잡에 대해 뛰어난 강건성을 보였다.