[논문 리뷰] DensSiam: End-to-End Densely-Siamese Network with Self-Attention Model for Object Tracking

Mohamed H. Abdelpakey, Mohamed Shehata외 1명|arXiv (Cornell University)|2018. 09. 07.

Video Surveillance and Tracking Methods참고 문헌 29인용 수 6

한 줄 요약

DensSiam는 시각적 객체 추적을 위한 엔드 투 엔드로 연결된 밀도 높은 시앙즈 네트워크를 제안하며, 비국소적 특징 학습을 활용하여 외관 변화에 대한 강건성을 향상시킵니다. 비국소적 특징 학습을 통해 외관 변화에 강건한 성능을 달성하며, OTB2013/2015 및 VOT2015–2017 벤치마크에서 최신 기술 수준의 성능을 기록하고, 추론 속도가 60 FPS에 이를 정도로 기존 실시간 추적기들보다 정확도, 강건성, 기대 평균 오버랩 측면에서 뛰어나며, 실시간 성능을 유지는 하면서도 높은 정확도를 유지합니다.

ABSTRACT

Convolutional Siamese neural networks have been recently used to track objects using deep features. Siamese architecture can achieve real time speed, however it is still difficult to find a Siamese architecture that maintains the generalization capability, high accuracy and speed while decreasing the number of shared parameters especially when it is very deep. Furthermore, a conventional Siamese architecture usually processes one local neighborhood at a time, which makes the appearance model local and non-robust to appearance changes. To overcome these two problems, this paper proposes DensSiam, a novel convolutional Siamese architecture, which uses the concept of dense layers and connects each dense layer to all layers in a feed-forward fashion with a similarity-learning function. DensSiam also includes a Self-Attention mechanism to force the network to pay more attention to the non-local features during offline training. Extensive experiments are performed on four tracking benchmarks: OTB2013 and OTB2015 for validation set; and VOT2015, VOT2016 and VOT2017 for testing set. The obtained results show that DensSiam achieves superior results on these benchmarks compared to other current state-of-the-art methods.

연구 동기 및 목표

• 기존의 시앙즈 네트워크가 국소적이고 강건하지 못한 외관 모델과 깊은 아키텍처에서의 높은 파라미터 수의 문제점을 해결하기 위해.
• 밀도적으로 연결된 아키텍처를 통해 비국소적 맥락적 특징을 캡처하여 시각적 객체 추적의 일반화 능력과 강건성을 향상시키기 위해.
• 높은 성능과 실시간 추론 속도를 유지하면서도 깊은 시앙즈 네트워크의 공유 파라미터 수를 줄이기 위해.
• 오프라인 훈련 중에 의미적으로 관련된 비국소적 특징에 집중할 수 있도록 자기 주도 주의 메커니즘을 통합하기 위해.

제안 방법

• 모든 이전 레이어와 피드포워드 방식으로 연결된 밀도 높은 연결 시앙즈 아키텍처를 사용하여 특징 재사용과 기울기 소실 문제를 완화합니다.
• 특징 맵의 차원을 제어하고 파라미터 수를 줄이기 위해 1×1 컨벌루션과 평균 풀링을 포함한 전이 레이어를 갖춘 밀도 블록을 사용합니다.
• 목표 브랜치의 최종 특징 맵에 자기 주의 모듈을 적용하여 주의 가중치를 계산함으로써, 네트워크가 의미적으로 중요한 비국소적 특징에 집중할 수 있도록 합니다.
• 검색 브랜치는 목표 브랜치와 모든 가중치를 공유하여 후보 패치와 목표 템플릿 간의 유사도 계산을 효율적으로 수행합니다.
• 기하학적으로 감쇠되는 학습률 스케줄(10⁻³에서 10⁻⁸로)을 사용하여 유사도 학습 함수를 기반으로 엔드 투 엔드로 훈련합니다.
• 입력 해상도는 목표 패치에 대해 127×127, 검색 이미지에 대해 255×255로 설정하며, 스케일 변형은 O=1.0375 및 s={-2,0,2} 요소를 활용한 다중 스케일 검색으로 처리합니다.

실험 결과

연구 질문

• RQ1 표준 시앙즈 네트워크에 비해 밀도적으로 연결된 시앙즈 아키텍처가 시각적 객체 추적에서 특징 표현과 강건성을 향상시키는가?
• RQ2 자기 주의 메커니즘을 통합함으로써 네트워크가 외관 변화와 배경 혼잡을 다루는 데 어떤 영향을 미치는가?
• RQ3 밀도적으로 연결된 아키텍처가 공유 파라미터 수를 얼마나 줄일 수 있으며, 이는 추적 정확도와 속도를 유지하거나 향상시키는 데 어떤 영향을 미치는가?
• RQ4 제안된 DensSiam 아키텍처가 기존 최신 기술 수준의 추적기들에 비해 다양한 추적 시나리오(예: 가림, 운동 왜곡 등)에서 더 잘 일반화되는가?

주요 결과

• VOT2015 벤치마크에서 DensSiam는 정확도(A) 0.619, 강건성(R) 1.24, 기대 평균 오버랩(EAO) 0.34를 기록하여 MDNet과 DeepSRDCF와 같은 비실시간 추적기들을 능가했습니다.
• VOT2016에서 DensSiam는 A 0.56, R 1.08, EAO 0.3310을 기록하여 ECOhc, Staple, SiamRN, GCF 전부의 지표를 초월했습니다.
• VOT2017에서 DensSiam는 A 0.540, R 0.350, EAO 0.250을 기록하여 SiamFC, SiamDCF, CSRDCF++, Staple의 정확도와 강건성에서 모두 승리했습니다.
• 단일 Titan XP GPU에서 60 FPS로 실행되어 실시간 성능을 입증했으며, 높은 정확도와 강건성 유지와 함께 실시간 성능를 확보했습니다.
• 자기 주의 메커니즘이 비국소적이고 의미적으로 관련된 특징에 집중함으로써 특징 표현을 크게 향상시켜 외관 변화 상황에서도 성능 향상을 이끌어냈습니다.
• 밀도적 연결은 표준 시앙즈 네트워크에 비해 공유 파라미터 수를 줄여 파라미터 효율성과 일반화 능력을 향상시켰으며, 속도 손실 없이도 성능을 유지했습니다.