[논문 리뷰] Object Detection in Videos by Short and Long Range Object Linking

Peng Tang, Chunyu Wang외 4명|arXiv (Cornell University)|2018. 01. 30.

Video Surveillance and Tracking Methods참고 문헌 29인용 수 9

한 줄 요약

이 논문은 짧은 및 긴 시간 범위에 걸쳐 객체 튜브릿을 연결하여 분류 정확도를 향상시키는 비디오 객체 검출 방법을 제안한다. 공간-시간 큐브로이드 제안, 점수 집계를 통한 튜브릿 회귀, 그리고 겹치는 검출을 억제하기 위한 확장된 비최대 억제 기법을 사용하여 ImageNet VID에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We address the problem of detecting objects in videos with the interest in exploring temporal contexts. Our core idea is to link objects in the short and long ranges for improving the classification quality. Our approach first proposes a set of candidate spatio-temporal cuboids, each of which serves as a container associating the object across short range frames, for a short video segment. It then regresses the precise box locations in each frame over each cuboid proposal, yielding a tubelet with a single classification score which is aggregated from the scores of the boxes in the tubelet. Third, we extend the non-maximum suppression algorithm to remove spatially-overlapping tubelets in the short segment, avoiding tubelets broken by the frame-wise NMS. Finally, we link the tubelets across temporally-overlapping short segments over the whole video, in order to boost the classification scores for positive detections by aggregating the scores in the linked tubelets. Experiments on the ImageNet VID dataset shows that our approach achieves the state-of-the-art performance.

연구 동기 및 목표

• 단기 및 장기 시간적 맥락을 활용하여 비디오 내 객체 검출 성능을 향상시키기 위해.
• 프레임 단위 비최대 억제 기법의 한계를 해결하여 일관성 있는 튜브릿이 파손되는 것을 방지하기 위해.
• 시간적으로 겹치는 튜브릿들 간의 분류 점수를 집계하여 검출 신뢰도를 향상시키기 위해.
• 강력한 튜브릿 연결 기법을 통해 비디오 세그먼트 간 객체 연속성을 유지하는 방법을 개발하기 위해.

제안 방법

• 짧은 비디오 세그먼트 내에서 객체를 그룹화하기 위해 후보 공간-시간 큐브로이드를 제안한다.
• 각 큐브로이드 내에서 정밀한 객체 바운딩 박스를 회귀하고, 각 튜브릿에 대해 하나의 분류 점수를 할당한다.
• 개별 박스 예측에서 유도된 튜브릿 점수를 집계하여 검출 신뢰도를 향상시킨다.
• 짧은 세그먼트 내 튜브릿 간 비최대 억제를 확장하여 분할을 방지한다.
• 시간적으로 겹치는 짧은 세그먼트 간 튜브릿을 연결하여 점수 집계를 통해 점수를 향상시킨다.
• 전체 비디오에 걸쳐 튜브릿을 연결하는 기준으로 세그먼트 간 시간적 겹침을 사용한다.

실험 결과

연구 질문

• RQ1 짧은 범위와 긴 범위의 시간적 맥락을 효과적으로 융합하여 비디오 객체 검출 성능을 향상시킬 수 있는가?
• RQ2 세그먼트 간 튜브릿 연결이 단순 프레임 단위 NMS를 초월해 검출 신뢰도를 향상시킬 수 있는가?
• RQ3 시간적으로 겹치는 튜브릿들 간의 점수 집계가 검출 성능에 미치는 영향은 무엇인가?
• RQ4 확장된 NMS 전략은 기존의 프레임 단위 NMS와 비교해 튜브릿 분할을 어떻게 방지하는가?

주요 결과

• 제안된 방법은 ImageNet VID 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• 연결된 튜브릿들 간의 점수 집계가 긍정적인 인스턴스에 대한 검출 신뢰도를 크게 향상시킨다.
• 확장된 NMS는 프레임 단위 억제로 인한 튜브릿 분할을 효과적으로 방지한다.
• 세그먼트 간 튜브릿의 시간적 연결은 더 강력하고 일관성 있는 객체 추적을 가능하게 한다.
• 공간-시간 큐브로이드의 사용은 장기 비디오 시퀀스로의 강력한 일반화를 가능하게 하며, 짧은 세그먼트 내 검출을 효과적으로 수행한다.