[논문 리뷰] Looking Fast and Slow: Memory-Guided Mobile Video Object Detection

Mason Liu, Menglong Zhu외 3명|arXiv (Cornell University)|2019. 03. 25.

Advanced Neural Network Applications참고 문헌 40인용 수 30

한 줄 요약

이 논문은 ConvLSTM 메모리 모듈을 사용해 프레임 간 특징을 융합하는 메모리 유도형, 교차형 영상 객체 검출 프레임워크를 제안한다. 이는 빠르고 경량인 특징 추출기와 느리지만 정확한 특징 추출기를 조합하며, Q-학습을 통한 적응형 추론 정책을 학습함으로써 ImageNet VID 2015에서 최신 기준 성능을 달성한다. 이는 광범위한 유형의 영상에서 유연한 속도/정확도 트레이드오프를 제공하며, 광학 흐름에 의존하지 않고도 Pixel 3에서 72.3 FPS로 실행된다.

ABSTRACT

With a single eye fixation lasting a fraction of a second, the human visual system is capable of forming a rich representation of a complex environment, reaching a holistic understanding which facilitates object recognition and detection. This phenomenon is known as recognizing the "gist" of the scene and is accomplished by relying on relevant prior knowledge. This paper addresses the analogous question of whether using memory in computer vision systems can not only improve the accuracy of object detection in video streams, but also reduce the computation time. By interleaving conventional feature extractors with extremely lightweight ones which only need to recognize the gist of the scene, we show that minimal computation is required to produce accurate detections when temporal memory is present. In addition, we show that the memory contains enough information for deploying reinforcement learning algorithms to learn an adaptive inference policy. Our model achieves state-of-the-art performance among mobile methods on the Imagenet VID 2015 dataset, while running at speeds of up to 70+ FPS on a Pixel 3 phone.

연구 동기 및 목표

• 모바일 기기의 엄격한 계산 및 에너지 제약 조건 하에서 실시간 고정확도 영상 객체 검출을 해결하기 위해.
• 시간적 메모리가 경량 특징 추출기의 빈번한 작동을 가능하게 하여 계산의 중복을 줄이고 정확도 손실를 최소화할 수 있는지 탐색하기 위해.
• 인간 시각에서의 개요 인식이 빠른 장면 이해를 지원하는 바이올로지컬 인사이트를 딥 러닝 프레임워크에 통합하기 위해.
• 강화 학습을 활용해 빠른 및 느린 특징 추출기 간의 전환을 위한 적응형 추론 정책을 학습함으로써 속도/정확도 트레이드오프를 향상시키기 위해.
• 광학 흐름이 계산 비용이 많이 들고 운동에 민감하므로, 이를 메모리 기반의 유량 없는 접근 방식으로 대체하여 의존성을 제거하기 위해.

제안 방법

• 프레임워크는 두 개의 특징 추출기를 사용한다: 개요 인식을 위한 빠르고 경량의 네트워크(f1)와 세부 검출을 위한 느리지만 정확한 네트워크(f0).
• 두 특징 추출기의 특징은 공유된 시각적 메모리 모듈을 통해 융합되며, 이는 ConvLSTM 레이어로 구현되어 프레임 간의 맥락 정보를 유지한다.
• 시스템은 f1이 빈번히 작동하고 f0가 주기적으로 작동하는 교차형 추론 전략을 채택하며, 이 시간은 학습된 정책에 의해 제어된다.
• 적응형 교차 정책은 딥 Q-학습을 통해 학습되며, 에이전트는 현재 프레임의 내용과 메모리 상태를 바탕으로 f0를 언제 실행할지 결정한다.
• 정책 네트워크는 검출 정확도(mAP)와 추론 속도를 균형 잡는 보상 함수를 사용해 훈련되며, 효율적인 계산을 장려한다.
• 이 모델은 모바일 배포를 최적화하여, 정확도를 희생시키지 않고도 Pixel 3에서 72.3 FPS의 높은 추론 속도를 달성한다.

실험 결과

연구 질문

• RQ1 빠르고 느린 특징 추출기를 교차형으로 사용하는 메모리 유도형 프레임워크가 영상 스트림에서 계산을 크게 줄이면서도 높은 검출 정확도를 유지할 수 있는가?
• RQ2 공유된 시각적 메모리가 존재할 경우, 경량 특징 추출기가 단독으로 자주 작동해도 신뢰할 수 있는 성능을 보일 수 있는가?
• RQ3 강화 학습이 장면 복잡도에 따라 빠른 및 느린 특징 추출기 간을 동적으로 선택하는 적응형 추론 정책을 효과적으로 학습할 수 있는가?
• RQ4 특히 극단적인 교차 비율에서, 메모리 유도형 방법이 광학 흐름 기반 방법과 비교해 속도/정확도 트레이드오프에서 어떻게 성능을 내는가?
• RQ5 메모리 유도형, 광학 흐름 없는 접근 방식이 광학 흐름이나 고비용 중간 특징 왜곡에 의존하지 않고도 모바일 기기에서 실시간 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 이동 기기용으로서 ImageNet VID 2015 벤치마크에서 최신 기준 mAP 65.0을 달성하여, Zhu 등 [39]의 이전 작업을 능가한다.
• 이 모델은 출판 당시까지 알려진 바에 비해 가장 빠른 이동 기기 영상 검출 모델로서, Pixel 3에서 최적화 후 72.3 FPS로 실행된다.
• 적응형 강화 학습 정책은 고정 정책 대비 큰 모델(f0)의 실행 빈도를 최대 80%까지 줄였으며, 정확도를 유지하거나 향상시켰다.
• 극단적인 교차 비율(τ = 39)에서 이 방법은 mAP가 3.75점만 감소하는 반면, Zhu 등 [39]의 광학 흐름 기반 방법은 τ = 20에서 최소 4.5 mAP 감소를 보였다.
• 학습된 정책은 작은 모델(f1)만으로는 충분하지 않은 복잡한 장면에 더 많은 계산을 할당하는 등, 효과적인 장면 인식 추론을 보여주었다.