[논문 리뷰] Learning Where to Focus for Efficient Video Object Detection

Zhengkai Jiang, Yu Liu외 6명|arXiv (Cornell University)|2019. 11. 13.

Advanced Image and Video Retrieval Techniques참고 문헌 55인용 수 10

한 줄 요약

이 논문은 광학 흐름에 의존하지 않고 영상 프레임 간 고수준 특징 간 정확한 공간-시간 대응 관계를 학습하는 미분 가능한 모듈인 유연한 공간-시간 샘플링(LSTS)을 제안한다. 검출 손실에 의해 유도되는 역전파를 통해 반복적으로 샘플링 위치를 최적화함으로써, LSTS는 상태 최고 수준의 mAP(77.2%)와 더 낮은 모델 파라미터 수(64.5M)를 기록하며 효율적이고 실시간 영상 객체 검출을 가능하게 한다. 이는 광학 흐름 기반 및 비국소 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Transferring existing image-based detectors to the video is non-trivial since the quality of frames is always deteriorated by part occlusion, rare pose, and motion blur. Previous approaches exploit to propagate and aggregate features across video frames by using optical flow-warping. However, directly applying image-level optical flow onto the high-level features might not establish accurate spatial correspondences. Therefore, a novel module called Learnable Spatio-Temporal Sampling (LSTS) has been proposed to learn semantic-level correspondences among adjacent frame features accurately. The sampled locations are first randomly initialized, then updated iteratively to find better spatial correspondences guided by detection supervision progressively. Besides, Sparsely Recursive Feature Updating (SRFU) module and Dense Feature Aggregation (DFA) module are also introduced to model temporal relations and enhance per-frame features, respectively. Without bells and whistles, the proposed method achieves state-of-the-art performance on the ImageNet VID dataset with less computational complexity and real-time speed. Code will be made available at https://github.com/jiangzhengkai/LSTS.

연구 동기 및 목표

• 광학 흐름이 영상 프레임 간 고수준 특징을 전파할 때 겪는 한계, 즉 높은 파라미터 비용, 의미 수준의 대응 관계에서의 정확도 부족, 계산 오버헤드를 해결하기 위해.
• 사전에 계산된 광학 흐름에 의존하지 않으면서도 공간 정확도를 유지하는 학습 가능한, 미분 가능한 특징 전파 메커니즘을 개발하기 위해.
• 희소 반복 업데이트와 조밀한 집계를 통해 장거리 시간적 의존성을 모델링하고 특징 표현을 향상시킴으로써 영상 객체 검출 성능을 향상시키기 위해.
• 최소한의 계산 비용으로 최신 기술 수준의 정확도를 달성하고 실시간 추론 속도를 확보하여 엣지 장치에의 구현에 적합하게 하기 위해.

제안 방법

• LSTS는 인접 프레임 간 특징 위치를 샘플링하기 위한 공간 오프셋을 학습하며, 이를 백프로파게이션을 통해 지도되는 검출 손실에 의해 업데이트되는 학습 가능한 파라미터로 간주한다.
• 핵심 프레임과 비핵심 프레임에서 샘플된 특징 간 유사도를 계산한 후, 학습된 가중치를 사용해 특징을 집계하여 정밀화된 전파된 특징을 생성한다.
• 희소 반복 특징 업데이트(SRFU)는 희소한 핵심 프레임 특징을 사용해 비핵심 프레임의 특징을 반복적으로 업데이트함으로써 장거리 시간적 의존성을 효율적으로 모델링한다.
• 조밀한 특징 집계(DFA)는 동일한 프레임의 다중 해상도 특징을 집계함으로써 프레임별 특징을 향상시켜 표현 품질을 개선한다.
• 비핵심 프레임에는 경량 네트워크를, 핵심 프레임에는 무거운 백본을 사용함으로써 전체 FLOPs를 줄이면서도 정확도를 유지한다.
• 샘플링 위치는 균일 또는 정규 분포로 초기화되며, 검출 지도를 통해 엔드 투 엔드로 정교화되어 데이터 기반의 공간 대응 관계 학습이 가능하다.

실험 결과

연구 질문

• RQ1 학습 가능한 샘플링 메커니즘이 영상 객체 검출에서 수작업으로 설계된 또는 광학 흐름 기반의 특징 전파를 능가할 수 있는가?
• RQ2 고정 또는 흐름 기반 왜곡 대비, 공간 오프셋의 엔드 투 엔드 학습이 특징 정렬을 어떻게 향상시키는가?
• RQ3 경량이고 미분 가능한 모듈이 모델 복잡도를 얼마나 줄일 수 있으며, 이로 인해 정확도를 유지하거나 향상시킬 수 있는가?
• RQ4 제안된 아키텍처는 성능을 희생시키지 않고도 실시간 추론 속도를 달성하는가?

주요 결과

• 제안된 방법은 ImageNet VID 데이터셋에서 77.2%의 mAP를 기록하여, Non-Local 및 MatchTrans 기준선(각각 74.2% 및 75.5% mAP)을 초월한다.
• 64.5M의 파라미터를 가진 모델은 23.0 FPS로 실행되어 높은 정확도를 유지하면서도 실시간 추론 능력을 입증한다.
• 학습 가능한 샘플링 위치는 고정된 정규 분포 초기화(75.5% → 77.2%)에서 1.7%p, 고정된 균일 초기화(75.5% → 76.8%)에서 1.3%p의 mAP 향상을 이룬다.
• 제거 분석 결과, 다양한 초기화 방법에 대해 샘플링 위치 학습이 일관되게 성능 향상을 이끌어내어, 미분 가능한 프레임워크의 효과성을 입증한다.
• 광학 흐름 기반 접근 방식에 비해 모델 크기와 추론 시간을 줄였으며, 추가로 흐름 네트워크가 필요해 파라미터 수가 ResNet101+RFCN 기반으로 96.7M로 증가하는 문제를 해결했다.
• LSTS 모듈은 모든 설정에서 광학 흐름 기반 특징 전파를 능가하며, 고수준 특징에 대해 학습된 대응 관계가 이미지 수준의 흐름보다 더 정확하다는 것을 입증한다.