[논문 리뷰] Deep Feature Flow for Video Recognition

Xizhou Zhu, Yuwen Xiong외 3명|arXiv (Cornell University)|2016. 11. 23.

Advanced Neural Network Applications참고 문헌 11인용 수 9

한 줄 요약

이 논문은 고속이고 정확한 비디오 인식 프레임워크인 Deep Feature Flow를 제안한다. 이 프레임워크는 고비용의 컨볼루션 네트워크를 희박한 키 프레임에만 적용하고, 학습된 광학 흐름 필드를 사용해 이들의 깊은 특징을 인접 프레임으로 전파한다. 인식 네트워크와 흐름 네트워크를 종단 간(end-to-end)으로 훈련시킴으로써, 프레임 단위 추론 대비 최대 10배의 속도 향상을 이룩하면서도 정확도 손실는 미미하게 유지하여 실시간 비디오 인식 분야에 중대한 발전을 이룬다.

ABSTRACT

Deep convolutional neutral networks have achieved great success on image recognition tasks. Yet, it is non-trivial to transfer the state-of-the-art image recognition networks to videos as per-frame evaluation is too slow and unaffordable. We present deep feature flow, a fast and accurate framework for video recognition. It runs the expensive convolutional sub-network only on sparse key frames and propagates their deep feature maps to other frames via a flow field. It achieves significant speedup as flow computation is relatively fast. The end-to-end training of the whole architecture significantly boosts the recognition accuracy. Deep feature flow is flexible and general. It is validated on two recent large scale video datasets. It makes a large step towards practical video recognition.

연구 동기 및 목표

• 최신 이미지 인식 네트워크를 모든 비디오 프레임에 적용할 경우 발생하는 높은 계산 비용을 해결하기 위해.
• 비디오의 시간적 연속성을 활용하여 광학 흐름을 사용해 프레임 간 깊은 특징을 전파함으로써.
• 인식 네트워크와 흐름 네트워크를 종단 간으로 공동 훈련시켜 정확도와 효율성을 향상시키기 위해.
• 자율 주행 및 감시와 같은 실시간 비디오 응용 분야에서 강력한 이미지 인식 모델의 실용적 구현을 가능하게 하기 위해.

제안 방법

• 프레임워크는 계산 부담을 줄이기 위해 깊은 컨볼루션 네트워크를 희박한 키 프레임에만 적용한다.
• 키 프레임에서 유도된 중간 특징 맵은 학습된 흐름 필드를 통해 인접 프레임으로 전파되며, 광학 흐름 워핑과 유사하다.
• 흐름 필드는 전용 흐름 네트워크(예: FlowNet)를 사용해 추정되며, 이는 인식 네트워크와 함께 종단 간으로 훈련된다.
• 특징 전파 이후 인식 헤드가 적용되어 작업에 특화된 특징의 미세 조정이 가능하다.
• 전체 아키텍처는 종단 간으로 훈련되며, 인식 정확도와 흐름 추정을 동시에 최적화한다.
• 최종 작업 헤드를 조정함으로써 다양한 비디오 인식 작업(예: 세그멘테이션 및 객체 탐지)에 적용 가능하다.

실험 결과

연구 질문

• RQ1 광학 흐름을 사용해 키 프레임에서 유도된 깊은 특징을 효과적으로 인접 프레임으로 전파할 수 있는가?
• RQ2 인식 네트워크와 흐름 네트워크를 종단 간으로 공동 훈련하면 별도 훈련 대비 인식 정확도가 향상되는가?
• RQ3 특징 전파로 얼마나 많은 추론 시간을 절감할 수 있으며, 높은 인식 성능를 유지할 수 있는가?
• RQ4 키 프레임 간격과 네트워크 아키텍처의 선택이 속도와 정확도의 상호 보완적 관계에 어떤 영향을 미치는가?

주요 결과

• 이 방법은 프레임 단위 추론 대비 최대 10배의 속도 향상을 이룩하면서도 비디오 데이터셋에서 경쟁 가능한 인식 정확도를 유지한다.
• 종단 간 훈련이 인식 정확도를 크게 향상시켜, 흐름과 인식의 공동 최적화의 이점이 입증된다.
• 프레임워크는 매우 탄력적이고 일반화 가능하며, Cityscapes에서의 비디오 세그멘테이션과 ImageNet VID에서의 객체 탐지에 성공적으로 적용되었다.
• 특징 전파 이후 1층의 작업 헤드가 12층 헤드와 거의 동일한 성능을 보이며, 전파된 특징이 매우 표현력이 뛰어나다는 것을 시사한다.
• 중간 정도의 키 프레임 간격이라도 높은 성능를 유지하여 실시간 추론이 가능하다.