[논문 리뷰] Flow-Guided Feature Aggregation for Video Object Detection

Xizhou Zhu, Yujie Wang외 3명|arXiv (Cornell University)|2017. 03. 29.

Advanced Neural Network Applications참고 문헌 39인용 수 105

한 줄 요약

Flow-guided feature aggregation (FGFA)를 통해 비디오 객체 탐지를 위한 프레임당 CNN 특징을 흐름 경로를 따라 인접 프레임 특징을 왜곡 및 집계하여 개선하고, 단일 프레임 탐지기보다 향상된 정확도를 얻기 위해 엔드투엔드로 학습합니다.

ABSTRACT

Extending state-of-the-art object detectors from image to video is challenging. The accuracy of detection suffers from degenerated object appearances in videos, e.g., motion blur, video defocus, rare poses, etc. Existing work attempts to exploit temporal information on box level, but such methods are not trained end-to-end. We present flow-guided feature aggregation, an accurate and end-to-end learning framework for video object detection. It leverages temporal coherence on feature level instead. It improves the per-frame features by aggregation of nearby features along the motion paths, and thus improves the video recognition accuracy. Our method significantly improves upon strong single-frame baselines in ImageNet VID, especially for more challenging fast moving objects. Our framework is principled, and on par with the best engineered systems winning the ImageNet VID challenges 2016, without additional bells-and-whistles. The proposed method, together with Deep Feature Flow, powered the winning entry of ImageNet VID challenges 2017. The code is available at https://github.com/msracver/Flow-Guided-Feature-Aggregation.

연구 동기 및 목표

• 탐지의 후처리(post-processing) 대신 특징 수준에서 시간 정보를 활용하여 비디오 객체 탐지를 개선하려는 동기를 부여한다.
• 주변 프레임에 걸친 flow-guided aggregation를 통해 프레임당 특징을 향상시키는 엔드투엔드 학습 가능한 프레임워크를 개발한다.
• 비디오에서의 악화된 객체 외관(모션 블러, 초점 흐림, 드문 포즈)로 인한 문제를 다룬다.
• Heavy hand-crafted post-processing bells and whistles 없이도 ImageNet VID에서 경쟁력 있는 성능을 입증한다.

제안 방법

• 각 비디오 프레임에 대해 프레임당 특징 추출기를 적용한다.
• 프레임 간 광학 흐름을 추정하고 flow 네트워크를 사용하여 인접 프레임 특징을 참조 프레임으로 왜곡한다.
• 왜곡된 특징과 참조 프레임 특징을 작은 임베딩 네트워크로 임베딩하여 유사도 계산에 사용한다.
• 임베딩 공간에서 코사인 유사도를 통해 공간 위치별 적응 가중치를 계산하고 왜곡된 특징의 가중치를 합성한다.
• 집계된 특징을 감지 네트워크(R-FCN 기반)에 입력하여 참조 프레임에 대한 엔드투엔드 객체 탐지를 수행한다.
• 프레임 범위 전체에 걸쳐 정규화를 위해 학습 시 시간적 드롭아웃을 적용하고 모든 구성요소를 엔드투엔드로 학습한다.

실험 결과

연구 질문

• RQ1 템poral 정보가 특징 수준에서 활용되어 단일 프레임 탐지기를 넘어 비디오 객체 탐지 정확도를 크게 향상시킬 수 있는가?
• RQ2 flow-guided feature aggregation이 느린 동작, 보통, 빠른 물체 운동에서 견고한 개선을 제공하는가?
• RQ3 Flow estimation, feature warping, and aggregation의 엔드투엔드 학습이 박스 수준의 포스트 프로세싱과 비교하여 탐지 성능에 어떤 영향을 미치는가?
• RQ4 집계 범위, 계산 비용 및 탐지 정확도 사이의 트레이드오프는 무엇인가?

주요 결과

• FGFA는 ImageNet VID에서 강력한 단일 프레임 기준선에 비해 의미 있는 향상을 보이며 평균 정밀도(mAP)가 증가한다.
• 빠르게 움직이는 물체의 경우 더 큰 mAP 향상이 관찰되며, 빠른 모션 그룹에서 특히 큰 개선을 보인다.
• 적응적이고 흐름 가이드된 집계는 인접 프레임으로부터 정보를 집중시키고 외관이 저하될 때 탐지를 개선한다.
• 엔드투엔드 학습이 중요하다; 구성요소를 고정하면 성능이 저하된다(예: FlowNet 유지 시).
• FGFA를 Seq-NMS와 같은 박스 수준 기법과 결합하면 추가 개선이 있으며, Heavy한 엔지니어링 없이도 경쟁력 있는 결과를 달성한다.