[논문 리뷰] Object Detection in Video with Spatiotemporal Sampling Networks

Gedas Bertasius, Lorenzo Torresani외 1명|arXiv (Cornell University)|2018. 03. 15.

Advanced Neural Network Applications참고 문헌 6인용 수 30

한 줄 요약

이 논문은 변형 가능 컨볼루션을 통해 공간 및 시간 차원에서 인접 프레임으로부터 특징을 추출하는 방식으로 영상 객체 검출 성능을 햖थ한 Spatiotemporal Sampling Network (STSN)을 제안한다. 이 방법은 광학 흐름 지도 없이도 복잡한 유량 네트워크 학습이 필요 없이 ImageNet VID에서 최신 기준 성능을 달성하며, 종단 간 학습 및 미분 가능한 특징 집합을 통해 막힘과 운동 흐림에 대한 강건성을 향상시킨다.

ABSTRACT

We propose a Spatiotemporal Sampling Network (STSN) that uses deformable convolutions across time for object detection in videos. Our STSN performs object detection in a video frame by learning to spatially sample features from the adjacent frames. This naturally renders the approach robust to occlusion or motion blur in individual frames. Our framework does not require additional supervision, as it optimizes sampling locations directly with respect to object detection performance. Our STSN outperforms the state-of-the-art on the ImageNet VID dataset and compared to prior video object detection methods it uses a simpler design, and does not require optical flow data for training.

연구 동기 및 목표

• 운동 흐림, 막힘, 초점 불일치 등의 조건에서 영상 검출 성능이 저하되는 문제를 해결하기 위해.
• 광학 흐름이나 추가 지도 없이도 시간 정보를 효과적으로 활용하는 영상 객체 검출 프레임워크를 개발하기 위해.
• 합성 유량 및 검출 학습의 복잡성에서 벗어나 더 단순한 종단 간 학습 가능한 아키텍처를 설계하여 기존 방법을 능가하기 위해.
• 시간적으로 인접한 프레임으로부터 관련 특징을 추출하는 방식으로 도전적인 영상 프레임에서도 강건한 검출을 가능하게 하기 위해.

제안 방법

• STSN는 공간 및 시간 차원에서 작동하는 변형 가능 컨볼루션을 사용하여 인접 영상 프레임으로부터 특징을 추출한다.
• 광학 흐름 지도 없이도 객체 검출 성능 최적화를 통해 종단 간에 최적의 추출 위치를 학습한다.
• 샘플링 블록은 지원 프레임의 특징 포인트 중 어느 것을 기준 프레임의 활성화를 계산하는 데 사용할지 결정하는 오프셋 벡터를 예측한다.
• 경계 상자 애너테이션이 있는 영상 프레임에 대해 종단 간으로 학습함으로써 시간적 일관성이 손실 함수로부터 자연스럽게 유도된다.
• 별도의 광학 흐름 네트워크가 필요 없게 되어 학습 복잡성과 데이터 요구량이 감소한다.
• 미분 가능한 샘플링을 통해 특징 집합이 이루어지며, 시간적 연결을 거쳐 역전파가 가능해진다.

실험 결과

연구 질문

• RQ1 광학 흐름 지도 없이도 영상 객체 검출 모델이 인접 프레임으로부터 특징을 추출하는 방식으로 검출 정확도를 향상시킬 수 있는가?
• RQ2 후처리 또는 유량 기반 집합 방식과 비교해 종단 간 학습된 시공간 특징 추출 방식은 어떤가?
• RQ3 시간적 특징 추출이 막힘과 운동 흐림에 대한 영상 검출의 강건성에 얼마나 기여하는가?
• RQ4 유량 데이터가 필요한 복잡한 다중 스트림 모델보다 더 단순한 통합 아키텍처가 성능에서 뛰어날 수 있는가?

주요 결과

• STSN은 ImageNet VID 데이터셋에서 기존 방법들, 특히 광학 흐름을 사용하는 FGFA를 포함하여 최신 기준 성능을 달성한다.
• 막힘, 운동 흐림 또는 초점 불일치로 인해 영향을 받는 프레임에서 시간적으로 인접한 프레임의 특징을 활용함으로써 검출 정확도가 크게 향상된다.
• 광학 흐름 데이터를 학습에 사용하지 않았음에도 불구하고, 객체 위치에 맞는 운동 인식 추출 오프셋을 정확히 예측하는 것을 학습한다.
• 정적 단일 프레임 검출기에서 범시된 오류를 수정한다. 예를 들어, 막힌 객체를 잘못 분류하거나 부분적으로 보이는 인스턴스를 놓치는 경우가 줄어든다.
• 절단 분석을 통해 시공간 특징 추출 메커니즘이 성능 향상에 필수적임을 확인하였으며, 특히 도전적인 시각 조건에서 그 중요성이 뚜렷하다.