[논문 리뷰] Quasi-Dense Instance Similarity Learning

Jiangmiao Pang, Linlu Qiu외 4명|arXiv (Cornell University)|2020. 06. 11.

Video Surveillance and Tracking Methods참고 문헌 56인용 수 10

한 줄 요약

이 논문은 이미지 쌍당 수백 개의 영역 제안을 사용하여 유사도 메트릭을 훈련시키는 '준밀도 인스턴스 유사도 학습'을 제안한다. 이는 단순한 최근접 이웃 검색을 통해 정확한 인스턴스 매칭을 가능하게 하며, BDD100K 및 Waymo와 같은 트래킹 벤치마크에서 최신 기술 수준의 성능을 달성한다. 위치나 운동 히وري스틱에 의존하지 않고 MOTA를 거의 10점 향상시킨다.

ABSTRACT

Similarity metrics for instances have drawn much attention, due to their importance for computer vision problems such as object tracking. However, existing methods regard object similarity learning as a post-hoc stage after object detection and only use sparse ground truth matching as the training objective. This process ignores the majority of the regions on the images. In this paper, we present a simple yet effective quasi-dense matching method to learn instance similarity from hundreds of region proposals in a pair of images. In the resulting feature space, a simple nearest neighbor search can distinguish different instances without bells and whistles. When applied to joint object detection and tracking, our method can outperform existing methods without using location or motion heuristics, yielding almost 10 points higher MOTA on BDD100K and Waymo tracking datasets. Our method is also competitive on one-shot object detection, which further shows the effectiveness of quasi-dense matching for category-level metric learning. The code will be available at this https URL.

연구 동기 및 목표

• 기존 방법이 인스턴스 유사도 학습에 대해 희박한 지정된 매칭만 사용하는 데서 비롯되는 한계를 해결하기 위해.
• 이미지 쌍 간의 밀도 높은 영역 제안을 활용하여 인스턴스 수준의 유사도 학습을 향상시키기 위해.
• 통합 검출 및 트래킹에서 후행 처리 위치 또는 운동 히وري스틱에 의존하지 않기 위해.
• 준밀도 감독을 통해 카테고리 수준의 메트릭 학습을 효과적으로 가능하게 하기 위해.
• 이 방법의 일반화 능력을 검증하기 위해 일회성 객체 검출에서 강력한 성능을 보여주기 위해.

제안 방법

• 이 방법은 이미지 쌍당 수백 개의 영역 제안을 샘플링하여 유사도 훈련을 위한 준밀도 매칭 전략을 사용한다.
• 대비 손실 목적함수를 사용하여 깊은 신경망이 영역 제안 간의 유사도 점수를 예측하도록 훈련시킨다.
• 최근접 이웃 검색이 다양한 인스턴스를 신뢰성 있게 구분할 수 있는 특징 공간을 학습한다.
• 명시적인 트래킹 헤드나 운동 모델링을 피하고, 오직 학습된 유사도 메트릭에 의존한다.
• 이미지 쌍 간의 많은 양의 양성 및 음성 영역 제안 쌍에 대해 훈련 목적이 최적화된다.
• 최종 모델은 추가 히وري스틱 없이 종단 간 트래킹 파이프라인에 직접 적용된다.

실험 결과

연구 질문

• RQ1 이미지 쌍당 수백 개의 영역 제안에서 유도된 준밀도 감독이 희박한 매칭에 비해 인스턴스 유사도 학습을 향상시키는가?
• RQ2 밀도 높은 영역 수준 감독을 통해 훈련된 유사도 메트릭이 운동 또는 위치 사전 지식 없이 통합 검출 및 트래킹에 일반화되는가?
• RQ3 제안된 방법은 일회성 객체 검출에서 어떻게 성능을 내며, 이는 카테고리 수준 메트릭 학습의 효과성을 나타내는가?
• RQ4 BDD100K 및 Waymo와 같은 표준 트래킹 벤치마크에서 최신 기술 수준의 성능을 달성하는가?
• RQ5 학습된 유사도 메트릭을 사용할 때 후행 히وري스틱을 제거하면 트래킹 성능에 어떤 영향을 미치는가?

주요 결과

• 기존 방법에 비해 BDD100K 트래킹 벤치마크에서 MOTA가 거의 10점 향상된다.
• Waymo 트래킹 데이터셋에서도 MOTA가 거의 10점 향상되어 이전 접근 방식을 능가한다.
• 일회성 객체 검출에서 강력한 성능을 내어, 카테고리 수준 메트릭 학습의 효과성을 입증한다.
• 복잡한 트래킹 컴포넌트 없이도 학습된 특징 공간에서 단순한 최근접 이웃 검색만으로 정확한 인스턴스 매칭을 가능하게 한다.
• 위치 또는 운동 히وري스틱을 사용하는 기존 기술들조차도 이 방법이 뛰어난 성능을 내어, 학습된 유사도 메트릭의 강건성을 보여준다.
• 이 방법의 코드는 공개적으로 배포되어 재현성과 향후 연구를 지원할 것이다.