[논문 리뷰] Seq-NMS for Video Object Detection

Wei Han, Pooya Khorrami외 7명|arXiv (Cornell University)|2016. 02. 26.

Advanced Neural Network Applications참고 문헌 8인용 수 154

한 줄 요약

Seq-NMS는 단일 이미지 탐지기에 대한 후처리를 확장하여 시간적 일관성을 활용해 인접 프레임에서 약한 탐지를 강화하고 ImageNet VID에서 ILSVRC-2015 동안 상태-아트에 근접한 이득을 달성합니다.

ABSTRACT

Video object detection is challenging because objects that are easily detected in one frame may be difficult to detect in another frame within the same clip. Recently, there have been major advances for doing object detection in a single image. These methods typically contain three phases: (i) object proposal generation (ii) object classification and (iii) post-processing. We propose a modification of the post-processing phase that uses high-scoring object detections from nearby frames to boost scores of weaker detections within the same clip. We show that our method obtains superior results to state-of-the-art single image object detection techniques. Our method placed 3rd in the video object detection (VID) task of the ImageNet Large Scale Visual Recognition Challenge 2015 (ILSVRC2015).

연구 동기 및 목표

• 프레임별 처리 외 시간 정보를 활용하여 비디오 객체 탐지를 개선하려는 동기를 제시합니다.
• 인접 프레임 간 정보를 집계하는 후처리 단계로 단일 이미지 탐지기를 확장합니다.
• Seq-NMS가 ImageNet VID 데이터셋에서 mAP를 개선하고 ILSVRC-2015 VID 작업에서 경쟁력 있는 순위를 보여주는 것을 입증합니다.

제안 방법

• 클립의 모든 프레임에 대해 영역 제안과 점수를 사용해 비디오 전체 제안을 구성합니다.
• 인접 프레임 간의 IoU 그래프를 구성하여(IoU > 0.5) 시퀀스를 형성합니다.
• 클립 전체에서 가장 높은 점수 시퀀스를 선택하기 위해 다이나믹 프로그래밍을 사용합니다.
• 선택된 시퀀스의 점수에 대해 함수 F(평균 또는 최대)를 이용해 재스코딩합니다.
• 중복을 줄이기 위해 같은 프레임과 시퀀스 내의 비선택 박스를 억제합니다.
• 더 이상 시퀀스가 남지 않을 때까지 이 과정을 반복합니다.

실험 결과

연구 질문

• RQ1 후처리에서 시간 정보를 도입하면 프레임별 NMS에 비해 비디오 객체 탐지에서 탐지 성능이 향상되는가?
• RQ2 다른 백본 네트워크(ZF vs VGG)에서 Seq-NMS가 ImageNet VID의 mAP를 얼마나 개선하는가?
• RQ3 가려짐, 크기 변화 또는 비슷한 물체가 근접한 시나리오에서 Seq-NMS의 강점과 실패 모드는 무엇인가?

주요 결과

• Seq-NMS는 VGG 네트와 같은 강력한 탐지기와 결합될 때 ImageNet VID에서 단일 이미지 NMS보다 mAP를 향상시킵니다.
• Seq-NMS(avg)는 VGG 네트와 함께 초기 검증에서 51.5% mAP, 전체 검증에서 51.4%를 달성하여 단독 NMS보다 우수합니다.
• Seq-NMS(best)는 VGG 네트와 함께 초기 검증에서 53.6% mAP, 전체 검증에서 52.2%를 달성합니다. 전체 테스트에서 최적은 설정에 따라 48.2%~48.7%에 도달합니다.
• 초기 검증에서 Seq-NMS(avg)는 51.4% mAP에 도달했고, Seq-NMS(best)는 전체 검증에서 52.2%에 도달합니다; 이 방법은 오토바이, 거북이, 붉은 팬다, 도마뱀, 양과 같은 다수 클래스에서 상당한 이득을 보여줍니다.
• 이 방법은 ILSVRC-2015의 ImageNet VID 작업에서 3위에 올랐습니다.
• 최상위 방법과 비교했을 때 Seq-NMS 기반의 시간 정보를 이용한 접근은 그들의 트래젝토리/전파 방법 대비 유리한 이득을 제공합니다.