[논문 리뷰] Recurrent Neural Networks for video object detection

Ahmad Bin Qasim, Arnd Pettirsch|arXiv (Cornell University)|2020. 10. 29.

Video Surveillance and Tracking Methods참고 문헌 40인용 수 7

한 줄 요약

이 논문은 영상 객체 검출을 위한 순환 신경망(RNNs)을 평가하며, 특징 기반, 박스 수준, 플로우 기반 방법을 비교한다. RNN을 통해 시간적 맥락을 통합함으로써, 특히 다중 프레임 SSD 아키텍처에서 GRU를 사용할 경우 KITTI에서 최대 4.4%, Caltech에서 최대 5%의 mAP 향상을 달성하며, 속도 손실는 최소화한다. 또한 병렬로 여러 프레임을 처리함으로써 시간적 맥락을 두 배로 늘려 성능을 향상시킨다.

ABSTRACT

There is lots of scientific work about object detection in images. For many applications like for example autonomous driving the actual data on which classification has to be done are videos. This work compares different methods, especially those which use Recurrent Neural Networks to detect objects in videos. We differ between feature-based methods, which feed feature maps of different frames into the recurrent units, box-level methods, which feed bounding boxes with class probabilities into the recurrent units and methods which use flow networks. This study indicates common outcomes of the compared methods like the benefit of including the temporal context into object detection and states conclusions and guidelines for video object detection networks.

연구 동기 및 목표

• 단일 프레임 기반 모델과 비교하여 순환 신경망이 영상 객체 검출 성능 향상에 얼마나 효과적인지 평가하는 것.
• 정확도와 효율성 측면에서 특징 수준, 박스 수준, 플로우 기반 방법을 포함한 다양한 RNN 기반 아키텍처를 비교하는 것.
• 프레임 샘플링, 네트워크 깊이, 스케일 처리와 같은 최적의 설계 선택 사항을 규명하는 것.
• 특히 과거 및 향후 프레임을 포함한 시간적 맥락이 검출 성능에 미치는 영향을 평가하는 것.
• RNN을 활용한 효율적이고 정확한 영상 객체 검출 시스템 설계 가이드라인을 제공하는 것.

제안 방법

• 특징 추출기와 검출 헤드 사이에 융합 레이어를 삽입하여 단일 쇼트 디텍터(SSF) 아키텍처에 게이트드 순환 유닛(GRUs)을 통합한다.
• 연속적인 다수의 프레임에서 유도된 특징 맵을 GRU를 통해 처리하여 시간적 의존성을 학습하고 검출 정확도를 향상시킨다.
• 요소별 덧셈, 최대 풀링, 연결, 순환 유닛 등 다양한 융합 전략을 테스트하며, RNN이 가장 뛰어난 성능을 보임을 확인한다.
• KITTI 및 Caltech 데이터셋에서 최적의 성능을 내기 위해 SqueezeDet+를 백본 네트워크로 사용한다.
• 과거 및 향후 프레임을 모두 활용하는 다중 프레임 추론 전략을 적용하여 이중 시간적 맥락을 실현한다.
• 계산 부담을 줄이면서도 검출 품질을 유지하기 위해 핵심 프레임 정책을 적용하여 속도와 정확도의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 RNN을 통해 시간적 맥락을 통합함으로써 단일 프레임 검출과 비교해 영상 객체 검출 성능에 어떤 영향을 미치는가?
• RQ2 영상 객체 검출에서 정확도와 추론 속도의 균형을 고려할 때, LSTM과 비교해 GRU가 어떤 우수성을 보이는가?
• RQ3 과거 및 향후 프레임을 동시에 처리하는 병렬 프레임 처리 방식이 단일 프레임 또는 단방향 처리 방식보다 더 높은 mAP를 달성하는가?
• RQ4 다양한 융합 전략(예: 연결, 덧셈, RNN)은 객체 검출을 위한 다중 프레임 특징 통합에서 어떻게 상호 비교되는가?
• RQ5 프레임 레이트와 입력 프레임 수가 검출 정확도와 계산 효율성에 어떤 영향을 미치는가?

주요 결과

• RNN 기반 영상 객체 검출 모델은 단일 프레임 기반 모델보다 일관되게 뛰어난 성능을 보이며, KITTI에서 mAP가 2.7% 향상되고 Caltech Pedestrians에서 최대 5% 향상된다.
• GRU는 LSTM과 유사한 성능을 달성하지만 훨씬 더 빠른 훈련 및 추론 속도를 보이며, 실시간 응용에 더 적합하다.
• 과거 및 향후 프레임을 모두 사용하는 모델(예: 'Detect to Track and Track to Detect')은 단방향 모델보다 더 높은 mAP를 기록하며, 시간적 맥락이 두 배로 증가하기 때문이다.
• '스케일-타임 래티스'와 'Detect to Track' 방법은 KITTI에서 최고의 mAP(79.6–82.0)를 달성하여 공간적 및 시간적 모델링의 융합이 유의미한 이점을 제공함을 입증한다.
• 플로우 기반 접근 방식(예: DeepFeature Flow)은 RNN 기반 방법에 비해 성능이 열등하며, ImageNet에서 mAP가 73.9에 머무르며 이 작업에 한해 유의미한 이점이 없음을 시사한다.
• 핵심 프레임 정책과 다중 스케일 특징 처리를 적용함으로써 계산 효율성을 높일 수 있었으며, 검출 정확도를 유지하면서 실시간 배포가 가능해졌다.