[논문 리뷰] Trans2k: Unlocking the Power of Deep Models for Transparent Object Tracking

Alan Lukežič, Ziga Trojer외 2명|arXiv (Cornell University)|2022. 10. 07.

Video Surveillance and Tracking Methods인용 수 6

한 줄 요약

이 논문은 104,343장의 이미지와 상세한 애너테이션을 포함한 2,000개 이상의 시퀀스를 포함한 투명 물체 추적을 위한 첫 번째 대규모 학습 데이터셋인 Trans2k를 소개한다. 현대 렌더러를 활용해 다양한 시각적 특성과 함께 현실적인 투명 물체 시퀀스를 생성함으로써, 저자들은 TOTB 벤치마크에서 여러 딥러닝 트래커에 대해 일관되게 16%의 성능 향상을 입증하였으며, 도메인 특화 데이터로 훈련할 경우 딥 백본이 얕은 백본보다 우수한 성능을 발휘함을 보여주었다.

ABSTRACT

Visual object tracking has focused predominantly on opaque objects, while transparent object tracking received very little attention. Motivated by the uniqueness of transparent objects in that their appearance is directly affected by the background, the first dedicated evaluation dataset has emerged recently. We contribute to this effort by proposing the first transparent object tracking training dataset Trans2k that consists of over 2k sequences with 104,343 images overall, annotated by bounding boxes and segmentation masks. Noting that transparent objects can be realistically rendered by modern renderers, we quantify domain-specific attributes and render the dataset containing visual attributes and tracking situations not covered in the existing object training datasets. We observe a consistent performance boost (up to 16%) across a diverse set of modern tracking architectures when trained using Trans2k, and show insights not previously possible due to the lack of appropriate training sets. The dataset and the rendering engine will be publicly released to unlock the power of modern learning-based trackers and foster new designs in transparent object tracking.

연구 동기 및 목표

• 투명 물체 추적을 위한 전용 고품질 학습 데이터셋의 부족으로 인해 딥러닝 기반 방법의 발전이 저해되고 있다는 문제를 해결하기 위해.
• 투명 물체 추적에서 관찰된 딥 백본의 성능 저하가 도메인 스트레스의 영향인지, 본질적인 아키텍처 한계 때문인지 파악하기 위해.
• 시각적 특성과 추적 과제에 대해 정밀한 제어가 가능한 다양한 현실적인 투명 물체 시퀀스를 생성하는 렌더링 파이프라인을 개발하기 위해.
• 도메인 특화 데이터로 훈련할 경우 딥 트래커가 얕은 트래커를 능가하는지 검증하고, 이전의 결과를 뒤집는 데 목적이 있다.
• 향후 투명 물체 추적 분야의 연구를 촉진하기 위해 Trans2k 데이터셋과 사용자 정의가 가능한 렌더링 엔진을 공개하기 위해.

제안 방법

• 기존 데이터셋에서 부족하게 다루어지는 투명 물체 특유의 시각적 특성과 추적 시나리오를 식별하기 위해 전용 프로토콜를 설계하였다.
• 렌더링 엔진을 활용해 투명도, 반사성, 배경 상호작용, 물체 운동 등을 정밀하게 제어한 2,000개 이상의 비디오 시퀀스를 생성하였다.
• 모든 시퀀스에 대해 바운딩 박스 및 인스턴스 세그멘테이션 애너테이션을 포함하여 애너테이션 편향을 최소화하였다.
• 다양한 훈련 설정을 평가하였으며, Trans2k 전용, 불투명 물체 데이터(OTD) 전용, Trans2k+OTD 병합, 그리고 라이트 훈련 등이 포함되었다.
• 최신 딥러닝 트래커(DiMP 및 SiamBAN)를 이러한 설정으로 재학습하고 TOTB 벤치마크에서 평가하였다.
• 아키텍처, 백본, 훈련 방식을 기반으로 한 성능 분석을 통해 도메인 특화 데이터의 영향을 분리하여 분석하였다.

실험 결과

연구 질문

• RQ1 투명 물체를 위한 도메인 특화 데이터셋으로 딥러닝 트래커를 훈련할 경우, 일반적인 불투명 물체 데이터셋을 사용할 때보다 성능 향상이 이루어지는가?
• RQ2 투명 물체에서 관찰된 딥 백본의 성능 저하가 부적절한 훈련 데이터 부족 때문인지, 본질적인 아키텍처 한계 때문인가?
• RQ3 투명 물체의 현실적이고 특성 제어가 가능한 렌더링이 추적 벤치마크에서 상당한 성능 향상을 이끌 수 있는가?
• RQ4 강건한 투명 물체 추적을 달성하기 위해 최적의 훈련 전략은 무엇인가? (단순히 투명 데이터만 사용, 불투명 데이터만 사용, 또는 병합 사용)
• RQ5 도메인 특화 데이터를 활용할 경우, 미래의 투명 물체 추적에서 가장 유망한 네트워크 아키텍처는 무엇인가? (예: 트랜스포머)

주요 결과

• Trans2k 전용으로 훈련한 딥 트래커는 TOTB 벤치마크에서 16%의 성능 향상을 기록하였으며, 이는 데이터셋의 효과성을 입증한다.
• Trans2k로 훈련된 딥 백본은 투명 물체 추적에서 얕은 백본을 능가하며, 이는 이전 연구에서 아키텍처 한계로 인한 성능 저하를 설명했던 바를 뒤집는 결과이다.
• Trans2k와 불투명 물체 훈련 데이터(OTD)를 병합해 훈련한 결과가 가장 우수했으며, DiMP는 TOTB에서 0.699, SiamBAN은 0.680의 성능을 기록하였다.
• ImageNet에서의 사전 훈련 후 Trans2k에서 미세조정하는 것이 라이트 훈련보다 성능 향상이 뚜렷했으며, 특히 SiamBAN와 같은 파라미터 수가 많은 모델에서 두드러졌다.
• 트랜스포머 아키텍처가 가장 유망한 것으로 나타났으며, 향후 향상 방향은 투명 물체의 복잡한 시각적 동역학을 모델링하는 데 집중해야 한다는 시사점을 제공한다.
• 데이터셋은 더 나은 일반화 능력을 제공하며, 불투명 물체 추적 성능에 약간의 감소만을 보였고, 이는 강력한 전이 가능성(transferability)을 시사한다.