[논문 리뷰] Action Recognition with Dynamic Image Networks

Hakan Bilen, Basura Fernando외 2명|arXiv (Cornell University)|2016. 12. 02.

Human Pose and Action Recognition참고 문헌 43인용 수 12

한 줄 요약

이 논문은 랭크 풀링을 사용하여 외관과 시간적 동적 특성을 모두 캡처하는 컴팩트하고 이미지 유사한 비디오 표현 방법인 동적 이미지(dynamic images)를 소개한다. 비디오 시퀀스를 단일 이미지로 변환함으로써, 사전 훈련된 CNN을 비디오 행동 인식에 직접 적용할 수 있게 되었으며, ResNeXt-101를 사용한 4스트림 아키텍처로 UCF101 및 HMDB51 벤치마크에서 최신 기술 수준의 성능을 달성하였다.

ABSTRACT

We introduce the concept of "dynamic image", a novel compact representation of videos useful for video analysis, particularly in combination with convolutional neural networks (CNNs). A dynamic image encodes temporal data such as RGB or optical flow videos by using the concept of `rank pooling'. The idea is to learn a ranking machine that captures the temporal evolution of the data and to use the parameters of the latter as a representation. When a linear ranking machine is used, the resulting representation is in the form of an image, which we call dynamic because it summarizes the video dynamics in addition of appearance. This is a powerful idea because it allows to convert any video to an image so that existing CNN models pre-trained for the analysis of still images can be immediately extended to videos. We also present an efficient and effective approximate rank pooling operator, accelerating standard rank pooling algorithms by orders of magnitude, and formulate that as a CNN layer. This new layer allows generalizing dynamic images to dynamic feature maps. We demonstrate the power of the new representations on standard benchmarks in action recognition achieving state-of-the-art performance.

연구 동기 및 목표

• 장기적인 운동과 외관을 효율적인 딥러닝을 위해 캡처하는 컴팩트하고 콘텐츠에 의존하지 않는 비디오 표현 방식을 개발하는 것.
• 비디오를 동적 이미지로 변환함으로써 기존의 정적 이미지용 사전 훈련된 CNN을 직접 비디오에 적용할 수 있도록 하는 것.
• 새로운 근사 랭크 풀링 레이어를 도입하여 순차적 처리를 단일 이미지 추론으로 대체함으로써 비디오 분석을 가속화하는 것.
• 광학 흐름이나 궤적 기술자와 같은 수작업으로 만든 특징에 의존하지 않고도 행동 인식 정확도를 향상시키는 것.

제안 방법

• 랭크 풀링을 사용하여 비디오 프레임에 대한 순서 기반 머신 학습을 통해 동적 이미지를 비디오의 표현으로 제안한다.
• 픽셀 수준과 CNN 특징 맵 내부에서 랭크 풀링을 적용하여 동적 이미지와 동적 특징 맵을 생성한다.
• 백프로파게이션을 가능하게 하기 위해 미분 가능한 CNN 레이어로 근사 랭크 풀링 연산자를 도입한다.
• RGB 및 광학 흐름 입력에서 정적 및 동적 표현을 융합하는 4스트림 CNN 아키텍처를 설계한다.
• ResNeXt와 같은 깊은 네트워크에 동적 이미지를 입력으로 사용하여 엔드 투 엔드 비디오 행동 인식을 가능하게 한다.
• 표준 랭크 풀링의 효율적이고 미분 가능한 근사치를 사용하여 계산 속도를 수십만 배 가량 가속화한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 CNN과 함께 사용할 수 있도록 외관과 시간적 동적 특성을 유지하는 컴팩트하고 이미지 유사한 비디오 표현을 학습할 수 있는가?
• RQ2 딥러닝 파이프라인에서 비디오 행동 인식에 사용하기 위해 랭크 풀링을 어떻게 효율적이고 미분 가능하게 만들 수 있는가?
• RQ3 개선된 밀도 궤적(iDT)과 같은 수작업 특징에 의존하지 않고도 동적 이미지가 최신 기술 수준의 방법을 능가하거나 동등하게 성능을 내는가?
• RQ4 RGB 및 광학 흐름에서 유도된 정적 및 동적 표현을 융합함으로써 행동 인식 정확도는 어느 정도 향상되는가?
• RQ5 원시 픽셀을 초월해 중간 단계의 CNN 특징 맵으로도 동적 이미지 표현을 일반화할 수 있는가?

주요 결과

• 제안된 4스트림 네트워크에 동적 이미지를 적용한 결과, ResNeXt-101를 사용해 HMDB51에서 평균 정확도 96.0%와 UCF101에서 95.5%를 달성하여 이전 최신 기술 수준의 방법을 능가하였다.
• 광학 흐름이나 수작업 특징 없이도 UCF101에서 90.6%의 정확도를 기록하여 대부분의 경쟁자들이 이러한 입력에 의존하는 것과 비교해 뛰어난 성능을 보였다.
• 개선된 밀도 궤적(iDT)을 추가해도 성능 향상이 미미했으며(UFC101에서 95.5% → 96.0%), 대부분의 성능 향상은 동적 이미지 표현 자체에서 기인함을 시사했다.
• 근사 랭크 풀링 레이어는 표준 랭크 풀링의 계산 속도를 수십만 배 가량 가속화하면서도 성능를 유지하고 백프로파게이션을 가능하게 하였다.
• UCF101 및 HMDB51 양쪽 벤치마크에서 최신 기술 수준의 성능를 달성하여, 동적 이미지가 강력하고 효율적인 비디오 표현 방식임을 입증하였다.
• 동적 이미지 표현은 매우 깊은 네트워크인 ResNeXt와도 매우 잘 어울져 엔드 투 엔드 훈련이 가능함을 보여주었으며, 현대의 CNN 아키텍처와의 높은 호환성을 보였다.