[논문 리뷰] SiamCAR: Siamese Fully Convolutional Classification and Regression for Visual Tracking

Dongyan Guo, Jun Wang외 3명|arXiv (Cornell University)|2019. 11. 17.

Video Surveillance and Tracking Methods참고 문헌 32인용 수 41

한 줄 요약

SiamCAR는 앵커- 및 제안 없이 작동하는 시암 네트워크로 시각 추적을 위한 픽셀 단위 분류와 회귀를 수행하며, 실시간 속도에서 최첨단 성능을 달성합니다.

ABSTRACT

By decomposing the visual tracking task into two subproblems as classification for pixel category and regression for object bounding box at this pixel, we propose a novel fully convolutional Siamese network to solve visual tracking end-to-end in a per-pixel manner. The proposed framework SiamCAR consists of two simple subnetworks: one Siamese subnetwork for feature extraction and one classification-regression subnetwork for bounding box prediction. Our framework takes ResNet-50 as backbone. Different from state-of-the-art trackers like Siamese-RPN, SiamRPN++ and SPM, which are based on region proposal, the proposed framework is both proposal and anchor free. Consequently, we are able to avoid the tricky hyper-parameter tuning of anchors and reduce human intervention. The proposed framework is simple, neat and effective. Extensive experiments and comparisons with state-of-the-art trackers are conducted on many challenging benchmarks like GOT-10K, LaSOT, UAV123 and OTB-50. Without bells and whistles, our SiamCAR achieves the leading performance with a considerable real-time speed.

연구 동기 및 목표

• 시각적 추적을 픽셀 단위 분류 및 회귀로 분해하여 물체 위치와 경계 상자를 예측한다.
• 앵커와 영역 제안을 제거하여 하이퍼-파라미터 튜닝 및 복잡성을 줄인다.
• 다층 다채널 시암 특성 표현을 활용한 강인한 추적.
• 간단한 완전 컨볼루션 프레임워크에서 엔드투엔드로 학습하여 정확도와 효율성을 향상시킨다.
• 별다른 장식 없이 다양한 벤치마크 전반에서 강한 일반화를 시연한다.

제안 방법

• 템플릿 및 검색 영역에서 특징을 추출하기 위해 백본(ResNet-50)을 갖춘 시암 서브네트워크를 사용한다.
• 깊이 방향 교차상관을 적용하여 풍부한 의미 정보를 포함하는 다채널 응답 맵을 생성한다.
• 여러 백본 단계(F3, F4, F5)의 특징을 연결하여 강인한 픽셀 단위 예측을 수행한다.
• 각 위치에서 전경/배경을 위한 분류 분지와 각 위치에서 경계상자 거리를 예측하는 회귀 분지를 사용한다(왼쪽, 위, 오른쪽, 아래).
• 저품질의 중심 외 예측을 억제하기 위해 센터-네스 분지를 추가하고 L = Lcls + lambda1 Lcen + lambda2 Lreg의 결합 손실을 사용한다.
• 분류에 교차 엔트로피, 회귀에 IOU 손실, 그리고 센터-네스 손실로 학습하고; 추론 시 스케일 변화 페널티를 사용하여 후보를 재랭크하며; 최종 상자는 상위-k 이웃 예측들에 가중 평균으로 계산한다.

실험 결과

연구 질문

• RQ1 앵커- 및 제안 없는 시암 프레임워크가 표준 벤치마크에서 영역 제안 기반 추적기와 대등하거나 더 우수한 성능을 낼 수 있는가?
• RQ2 다픽셀 분류 및 다채널 응답 맵이 방해 대상, 스케일 변화 및 가림에 대한 강인성을 향상시키는가?
• RQ3 완전 컨볼루션 추적 아키텍처에서 다층 특징 융합과 센터-네스의 영향은 무엇인가?
• RQ4 SiamCAR의 GOT-10K, LaSOT, UAV123, OTB-50에서의 정확도와 속도는 어떠한가?
• RQ5 데이터 확장 없이 엔드-투-엔드 학습이 실시간 추적에서 최첨단 성능을 달성하는 데 충분한가?

주요 결과

• SiamCAR는 GOT-10K에서 AO, SR0.5, SR0.75를 선도하는 최첨단 결과를 달성하며, 52.27 FPS로 실행된다.
• GOT-10K에서 SiamCAR은 SiamRPN++보다 AO 5.2%, SR0.5 5.4%, SR0.75 9.0% 우수하다.
• SiamCAR는 복잡한 트릭이나 데이터 확장 없이도 LaSOT, UAV123, OTB-50 벤치마크에서 최상위 성능을 제공한다.
• 앵커 및 제안이 없는 설계는 하이퍼-파라미터 튜닝을 줄이고 학습을 단순화하면서도 높은 정확도와 실시간 속도를 유지한다.
• 픽셀 단위 예측 프레임워크를 사용하고 단일 응답 맵이 분류와 회귀를 모두 안내하여 방해물 및 자세/스케일 변화에서도 강인한 추적을 달성한다.