[논문 리뷰] Memory Warps for Learning Long-Term Online Video Representations

Tuan-Hung Vu, Wongun Choi외 2명|arXiv (Cornell University)|2018. 03. 28.

Human Pose and Action Recognition참고 문헌 39인용 수 14

한 줄 요약

이 논문은 미래 프레임에 의존하지 않고 장기적인 시간적 모델링이 가능한 메모리 기반 온라인 비디오 표현 프레임워크인 MemNet과 ClockNet을 제안한다. 이는 특징 메모리의 공간 왜곡을 통해 운동을 모델링한다. 이 방법은 이전 방법 대비 2.3배 빠른 속도로 ImageNet-VID에서 최고 성능을 달성하며, 지연 시간을 희생시키지 않고 실시간 검출기의 mAP를 10% 이상 향상시키는 예측 기능을 제공한다.

ABSTRACT

This paper proposes a novel memory-based online video representation that is efficient, accurate and predictive. This is in contrast to prior works that often rely on computationally heavy 3D convolutions, ignore actual motion when aligning features over time, or operate in an off-line mode to utilize future frames. In particular, our memory (i) holds the feature representation, (ii) is spatially warped over time to compensate for observer and scene motions, (iii) can carry long-term information, and (iv) enables predicting feature representations in future frames. By exploring a variant that operates at multiple temporal scales, we efficiently learn across even longer time horizons. We apply our online framework to object detection in videos, obtaining a large 2.3 times speed-up and losing only 0.9% mAP on ImageNet-VID dataset, compared to prior works that even use future frames. Finally, we demonstrate the predictive property of our representation in two novel detection setups, where features are propagated over time to (i) significantly enhance a real-time detector by more than 10% mAP in a multi-threaded online setup and to (ii) anticipate objects in future frames.

연구 동기 및 목표

• 미래 프레임에 의존하지 않고 장기적인 시간적 맥락을 활용하는 효율적이고 정확하며 예측 가능한 온라인 비디오 표현을 개발하는 것.
• 비디오 표현 학습에서 3D 컨볼루션과 비인과적 특징 집합의 한계를 해결하는 것.
• 왜곡된 메모리를 통한 특징 전파와 예측을 통해 온라인 비디오 처리에 예측 기능을 도입하는 것.
• 메모리 왜곡을 통해 더 느리지만 강력한 검출기의 표현을 융합하여 실시간 객체 검출 성능을 향상시키는 것.
• 확장된 시간 간격에 걸쳐 정보를 효율적으로 집계할 수 있는 다중 해상도 아키텍처를 설계하는 것.

제안 방법

• 특징 표현의 메모리를 유지하고, 이동장(field)을 사용해 프레임 간에 특징 메모리를 공간적으로 왜곡하는 MemNet을 제안한다. 이는 카메라 및 물체의 운동을 보상한다.
• 기존 방법에서의 프레임별 왜곡과는 달리, 각 프레임당 단일 왜곡 계산을 통해 메모리 특징을 현재 프레임에 정렬함으로써 계산 비용을 크게 감소시킨다.
• 장기적인 시간적 정보를 효율적으로 집계하기 위해 다중 시간 스케일에서 작동하는 계층적 아키텍처인 ClockNet을 도입한다.
• 간단한 평균화 또는 학습된 가중치를 사용해 새로운 이미지 특징과 왜곡된 메모리 특징을 조합함으로써 적응형 특징 집합을 구현한다.
• 이동장 추정을 위해 사전 훈련된 FlowNet을 활용하며, 객체 검출기와 함께 공동으로 미세조정하여 운동 정렬을 향상시킨다.
• 인과적 설정에서 온라인으로 메모리 기반 표현을 적용하여 특징 전파와 예측을 가능하게 한다.

실험 결과

연구 질문

• RQ1 메모리 기반 비디오 표현은 온라인 비디오 처리에서 효율적이고 인과적으로 장기적인 시간적 의존성을 학습할 수 있는가?
• RQ2 메모리 특징의 공간 왜곡은 운동, 가림, 외관 변화에 대한 정확성과 강건성에 어떻게 기여하는가?
• RQ3 메모리 표현은 미래 특징 예측이나 실시간 검출기 향상과 같은 예측 기능을 제공할 수 있는가?
• RQ4 ClockNet의 다중 스케일 시간 집합은 단일 스케일 메모리 네트워크보다 성능을 어떻게 향상시키는가?
• RQ5 속도와 정확도 측면에서 메모리 왜곡은 비인과적 또는 3D 컨볼루션 기반 방법보다 얼마나 뛰어나게 성능을 내는가?

주요 결과

• 제안된 MemNet은 이전 최고 성능 기준인 FGFA 대비 2.3배 빠른 속도를 기록하면서도 ImageNet-VID에서 정확도는 유사하게 유지하며, mAP가 0.9% 뿐 감소한다.
• ClockNet은 ImageNet-VID에서 프레임별 R-FCN 기준선 대비 2.2% mAP 향상을 달성했으며, 런타임이 더 낮은 비록 비인과적 FGFA보다도 정확도에서 뛰어나다.
• 메모리 기반 프레임워크를 통해 느린 검출기의 특징을 메모리 왜곡을 통해 융합함으로써 실시간 검출에서 mAP가 10.3% 향상되었으며, 지연 시간에 영향을 주지 않았다.
• ClockNet은 장기적인 예측 길이(δ > 10 프레임)에서도 뛰어난 효율성을 보이며, 이 작업에서 MemNet을 능가하는 성능을 기록했다.
• 제거 실험 결과, 메모리 특징과 입력 특징의 단순 평균화가 복잡한 적응형 가중치 설계와 동일한 성능을 내어, 집합 설계에 대한 강건성을 시사한다.
• 검출기와 함께 FlowNet을 공동으로 미세조정함으로써 운동 추정이 향상되어 더 일관되고 전체 물체 수준의 운동장이 생성되어 특징 정렬이 향상된다.