[논문 리뷰] LightTrack: Finding Lightweight Neural Networks for Object Tracking via One-Shot Architecture Search

Bin Yan, Houwen Peng외 4명|arXiv (Cornell University)|2021. 04. 29.

Video Surveillance and Tracking Methods참고 문헌 57인용 수 12

한 줄 요약

LightTrack는 이미지넷 및 추적 데이터로 훈련된 슈퍼넷 내에서 백본과 헤드 아키텍처를 동시에 탐색함으로써 경량이면서 고성능인 객체 추적기 아키텍처를 자동으로 설계하는 일회성 신경망 구조 탐색(NAS) 프레임워크를 제안한다. SiamRPN++ 및 Ocean과 같은 최신 기술(SOTA) 추적기보다 최대 98.9% 적은 FLOPs와 13배 적은 파라미터를 확보하면서도 최신 기술 성능(EAO)을 달성하여 모바일 및 엣지 디바이스에서 실시간 추론을 가능하게 한다.

ABSTRACT

Object tracking has achieved significant progress over the past few years. However, state-of-the-art trackers become increasingly heavy and expensive, which limits their deployments in resource-constrained applications. In this work, we present LightTrack, which uses neural architecture search (NAS) to design more lightweight and efficient object trackers. Comprehensive experiments show that our LightTrack is effective. It can find trackers that achieve superior performance compared to handcrafted SOTA trackers, such as SiamRPN++ and Ocean, while using much fewer model Flops and parameters. Moreover, when deployed on resource-constrained mobile chipsets, the discovered trackers run much faster. For example, on Snapdragon 845 Adreno GPU, LightTrack runs $12 imes$ faster than Ocean, while using $13 imes$ fewer parameters and $38 imes$ fewer Flops. Such improvements might narrow the gap between academic models and industrial deployments in object tracking task. LightTrack is released at https://github.com/researchmm/LightTrack.

연구 동기 및 목표

• 모델 복잡도와 계산 비용이 점점 증가하는 최신 기술 추적기의 문제를 해결하여 자원이 제한된 환경(예: 모바일 디바이스 및 드론)에의 배포를 가능하게 한다.
• 정보 손실로 인해 성능이 저하되는 경향이 있는 모델 압축 기술(예: 프루닝, 양자화)의 한계를 극복한다.
• 시간이 많이 소요되고 추적 전용 요구사항에 최적화되지 않은 전문가가 수작업으로 설계한 아키텍처에 대한 의존도를 줄인다.
• 객체 추적에 특화된 경량이면서 고성능인 신경망 아키텍처를 자동으로 효율적으로 탐색하는 방법을 개발한다.
• 정확도를 희생시키지 않은 채 FLOPs와 파라미터를 최소화하여 엣지 하드웨어에서 딥 추적 모델의 실시간 배포를 가능하게 한다.

제안 방법

• 이미지넷으로 사전 훈련하고 추적 데이터로 미세조정한 백본 슈퍼넷과 추적 데이터로 직접 훈련한 헤드 슈퍼넷을 사용하여 객체 추적 전용 일회성 NAS 프레임워크를 설계한다.
• 깊이 분리형 컨벌루션(DSConv)과 모바일 인버티드 버블(MBConv) 블록을 사용하여 효율적인 아키텍처 탐색을 가능하게 하는 경량 탐색 공간을 구성한다.
• 백본과 헤드 슈퍼넷을 한 번만 훈련한 후, 아키텍처 평가에 직접 가중치를 상속함으로써 빠르고 효율적인 탐색을 가능하게 한다.
• 추적 정확도와 모델 복잡도(FLOPs, 파라미터 수)를 다중 목적 감독 신호로 사용하여 아키텍처 탐색을 수행한다.
• 이미지넷 사전 훈련과 추적 전용 미세조정을 통합하여 특징 표현을 유지하면서도 국소화 정밀도 최적화를 이룬다.
• 공유된 가중치를 사용하는 차별가능한 아키텍처 탐색을 허용하는 슈퍼넷 기반 탐색 파이프라인을 사용하여 탐색 비용을 감소시키고 수렴 속도를 향상시킨다.

실험 결과

연구 질문

• RQ1 일회성 NAS가 객체 추적에 효과적으로 적용되어 경량이면서 고성능 아키텍처를 자동으로 탐색할 수 있는가?
• RQ2 NAS로 탐색된 추적기의 성능은 수작업으로 설계된 최신 기술 추적기와 정확도 및 효율성 측면에서 어떻게 비교되는가?
• RQ3 이미지넷 사전 훈련이 탐색된 아키텍처의 최종 추적 성능에 얼마나 기여하는가?
• RQ4 객체 추적 맥락에서 NAS를 통해 도출된 아키텍처 패턴은 기존 알려진 설계 원칙과 일치하는가?
• RQ5 탐색된 추적기는 경쟁력 있는 정확도를 유지하면서도 모바일 및 엣지 하드웨어에서 실시간 추론을 달성할 수 있는가?

주요 결과

• LightTrack는 VOT-19 벤치마크에서 530M FLOPs의 추적기를 탐색하여 EAO 0.333을 달성했으며, SiamRPN++(0.287)보다 4.6% 높은 성능을 보였고 FLOPs는 98.9% 감소시켰다.
• Snapdragon 845 Adreno 630 GPU에서 LightTrack는 Ocean(38.4 fps)보다 12배 빠른 3.2 fps로 실행되었으며, 파라미터 수는 13배(1.97M vs. 25.9M) 감소하고 FLOPs는 38배(530M vs. 20.3G) 감소했다.
• 이미지넷 사전 훈련은 추적 성능을 크게 향상시킨다: 사전 훈련 없이 21.3%에서 500 에포크의 사전 훈련을 거친 후 33.3%로 향상되었다.
• 탐색된 백본은 약 50%의 블록에서 7×7 MBConv 블록을 사용하여 넓은 수신장이 국소화 정밀도에 유리하다는 것을 시사한다.
• 최적의 특징 출력 레이어는 두 번째로 마지막 블록으로, 추적 네트워크가 고수준 표현보다 중간 수준의 특징을 더 유리하게 활용할 수 있음을 나타낸다.
• 분류 브랜치는 회귀 브랜치보다 얕은 편으로, 군집화와 정밀한 바운딩 박스 회귀의 상대적 난이도를 반영한다.