[논문 리뷰] Training-Set Distillation for Real-Time UAV Object Tracking

Fan Li, Changhong Fu외 3명|arXiv (Cornell University)|2020. 03. 11.

Video Surveillance and Tracking Methods참고 문헌 32인용 수 4

한 줄 요약

이 논문은 상관 필터를 사용한 실시간 UAV 목표 추적에서 학습 데이터 품질을 향상시키기 위해 시간 슬롯 기반 정제 방법(TSD)을 제안한다. 고신뢰도 추적 프레임을 关건 프레임으로 활용하여 시퀀스를 시간 슬롯으로 분할하고, 이 과정에서 이전 샘플을 적응적으로 평가하고 융합하면서 낮은 점수를 받은 샘플은 기각함으로써, 막힘 및 운동 흐림에 대한 강건성을 크게 향상시킨다. TSD 추적기는 단일 CPU에서 실시간 추론을 구현하면서 UAV123 및 DTB70 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Correlation filter (CF) has recently exhibited promising performance in visual object tracking for unmanned aerial vehicle (UAV). Such online learning method heavily depends on the quality of the training-set, yet complicated aerial scenarios like occlusion or out of view can reduce its reliability. In this work, a novel time slot-based distillation approach is proposed to efficiently and effectively optimize the training-set's quality on the fly. A cooperative energy minimization function is established to score the historical samples adaptively. To accelerate the scoring process, frames with high confident tracking results are employed as the keyframes to divide the tracking process into multiple time slots. After the establishment of a new slot, the weighted fusion of the previous samples generates one key-sample, in order to reduce the number of samples to be scored. Besides, when the current time slot exceeds the maximum frame number, which can be scored, the sample with the lowest score will be discarded. Consequently, the training-set can be efficiently and reliably distilled. Comprehensive tests on two well-known UAV benchmarks prove the effectiveness of our method with real-time speed on a single CPU.

연구 동기 및 목표

• 막힘, 시점 변화, 시야 외부로 벗어남 등의 상황으로 인해 신뢰할 수 없는 학습 샘플이 발생함에 따라 상관 필터(CF) 기반 UAV 추적 성능이 열화되는 문제를 해결하기 위해.
• 특히 자원 제약이 심한 UAV 플랫폼에서 계산 비용을 증가시키지 않고도 추적 신뢰성을 향상시키기 위해.
• 실시간 추적 과정에서 저품질 샘플을 적응적으로 걸러내는 효율적인 온라인 학습 데이터 세트 정제 기법을 개발하기 위해.
• 단일 CPU에서 실시간 성능을 유지하면서도 UAV 벤치마크에서 최신 기술 수준의 정확도를 달성하기 위해.

제안 방법

• 고신뢰도 추적 프레임을 관건 프레임으로 삼아 추적 시퀀스를 시간 슬롯으로 분할함으로써 동적 샘플 관리가 가능해진다.
• 협동 에너지 최소화 함수를 통해 반응 맵 품질을 기반으로 이전 샘플을 평가함으로써 추적 신뢰도와 안정성을 반영한다.
• 새로운 시간 슬롯이 생성될 경우, 이전 샘플을 하나의 관건 샘플로 융합하여 중복을 줄이고 평가 속도를 향상시킨다.
• 학습 데이터 세트의 크기를 사전에 정의된 크기로 제한하며, 이를 초과할 경우 가장 낮은 점수를 받은 샘플을 기각함으로써 효율성을 유지한다.
• 반응 맵은 추적 신뢰도의 대체 지표로 사용되며, 공동 최적화 프레임워크 내에서 샘플 평가 및 정규화를 이끌어낸다.
• 샘플 평가, 융합, 기각 과정을 경량화된 온라인 파이프라인으로 통합하여 실시간 구현에 적합한 구조를 확보한다.

실험 결과

연구 질문

• RQ1 온라인 학습 데이터 세트 정제가 도전적인 시각 조건에서 상관 필터 기반 UAV 추적기의 강건성을 향상시킬 수 있는가?
• RQ2 계산 부담을 증가시키지 않고 실시간으로 학습 데이터 세트 품질을 적응적으로 최적화할 수 있는가?
• RQ3 관건 프레임 기반 시간 슬롯 분할이 샘플 평가 효율성과 추적 정확도에 어떤 영향을 미치는가?
• RQ4 반응 맵 기반 신뢰도 추정은 신뢰할 수 없는 샘플의 영향을 어느 정도 줄일 수 있는가?
• RQ5 경량화된, 단일 CPU 호환 가능한 추적기가 학습 데이터 세트 정제를 통해 UAV 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• UAV123@10fps 벤치마크에서 TSD는 정밀도 0.659, 성공률 0.464를 기록하여 기준 모델 BACF보다 각각 15.2%, 12.3% 높게 성과를 냈다.
• UAV123에서 TSD는 정밀도 및 성공률 플롯 양측에서 1위를 기록했으며, ECO-HC 및 MCCT-H보다 정밀도에서 각각 3.9%, 10.6% 높았다.
• DTB70에서 TSD는 ECO-HC 및 MCCT-H보다 정밀도에서 각각 2.2%, 8.8% 향상되었고, 성공률 플롯에서는 2위를 기록했다.
• 절단 실험 결과, 샘플 기각, 융합, 반응 맵 정규화 각각이 점진적인 기여를 했으며, 전체 방법을 적용했을 경우 정밀도에서 상대적 15.2% 향상이 이루어졌다.
• 추적기는 단일 CPU에서 실시간으로 작동하며 실질적인 UAV 응용에 충분한 속도를 확보했다.
• 시각적 비교 결과, TSD는 막힘, 시점 변화, 시야 외부로 벗어남 등의 상황에서도 드리프트를 효과적으로 방지하는 반면, 기준 모델 BACF는 이러한 조건에서 일관되게 실패하는 것으로 확인되었다.