[논문 리뷰] DenseImage Network: Video Spatial-Temporal Evolution Encoding and Understanding

Xiaokai Chen, Ke Gao|arXiv (Cornell University)|2018. 05. 19.

Human Pose and Action Recognition참고 문헌 12인용 수 6

한 줄 요약

DenseImage 네트워크(DIN)는 공간-시간 진동을 매트릭스 형태로 코딩하는 컴팩트한 비디오 표현 방식인 DenseImage를 제안한다. 이는 2D 컨볼루션 신경망 기반의 학습을 효율적으로 가능하게 하며, 다중 척도 필터 너비를 가진 시간 순서 유지 2D 컨볼루션을 적용함으로써, 광범위한 계산 및 메모리 비용을 크게 줄이며 최신 기술 수준의 동작 및 제스처 인식 성능을 달성한다. 기존의 광학 흐름 또는 3D CNN에 의존하는 방법들보다 뛰어나다.

ABSTRACT

Many of the leading approaches for video understanding are data-hungry and time-consuming, failing to capture the gist of spatial-temporal evolution in an efficient manner. The latest research shows that CNN network can reason about static relation of entities in images. To further exploit its capacity in dynamic evolution reasoning, we introduce a novel network module called DenseImage Network(DIN) with two main contributions. 1) A novel compact representation of video which distills its significant spatial-temporal evolution into a matrix called DenseImage, primed for efficient video encoding. 2) A simple yet powerful learning strategy based on DenseImage and a temporal-order-preserving CNN network is proposed for video understanding, which contains a local temporal correlation constraint capturing temporal evolution at multiple time scales with different filter widths. Extensive experiments on two recent challenging benchmarks demonstrate that our DenseImage Network can accurately capture the common spatial-temporal evolution between similar actions, even with enormous visual variations or different time scales. Moreover, we obtain the state-of-the-art results in action and gesture recognition with much less time-and-memory cost, indicating its immense potential in video representing and understanding.

연구 동기 및 목표

• 광학 흐름 또는 3D CNN에 의존하는 기존 비디오 이해 방법의 비효율성과 높은 계산 비용을 해결하기 위해.
• 행동의 핵심 시공간 진동을 포착하는 컴팩트하고 효율적인 비디오 표현 방식을 개발하기 위해.
• 3D 컨볼루션 또는 흐름 계산 없이도 2D 컨볼루션 신경망이 다양한 시간 척도에서의 동적 진동을 효과적으로 모델링할 수 있도록 하기 위해.
• 메모리 및 추론 시간을 줄이면서도 도전적인 벤치마크에서 정확도를 유지하거나 향상시키기 위해.

제안 방법

• 공간 정보를 열에, 시간 진동을 행 순서에 코딩하는 매트릭스 표현인 DenseImage를 도입하여 비디오 동역학을 컴팩트한 형태로 압축한다.
• 특징 학습 과정에서 순서의 무결성을 유지하기 위해 국소적 시간 상관관계 제약 조건을 가진 시간 순서 유지 2D 컨볼루션 신경망을 설계한다.
• 다양한 필터 너비(예: 2, 3, 4)를 가진 다중 척도 2D 컨볼루션을 적용하여 동시에 다양한 시간 척도에서의 시간 진동을 포착한다.
• 사전에 계산된 광학 흐름이나 왜곡된 흐름이 필요 없도록 오직 RGB 프레임만을 입력으로 사용함으로써 데이터 및 계산 오버헤드를 감소시킨다.
• 비용이 많이 드는 3D 컨볼루션 또는 이중 스트림 아키텍처를 피하기 위해 표준 2D 컨볼루션 레이어를 활용해 효율적인 특징 추출을 수행한다.
• DenseImage 매트릭스 및 필터 구조의 설계를 통해 시간 순서를 유지함으로써 표준 크로스 엔트로피 손실을 사용해 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 컴팩트한 2D 매트릭스 표현이 비디오의 핵심 시공간 진동을 효과적으로 인코딩할 수 있는가?
• RQ2 다중 척도 시간 컨볼루션을 가진 2D CNN이 3D 컨볼루션 없이 다양한 시간 척도에서의 동적 진동을 포착할 수 있는가?
• RQ3 특징 학습 과정에서 시간 순서를 유지함으로써, 시각적 변형이 있는 유사한 동작에 대한 인식 성능 향상이 이루어지는가?
• RQ4 광학 흐름 기반 또는 3D CNN 접근 방식보다 정확도는 높이면서도 계산 비용을 줄일 수 있는 RGB 프레임 기반 방법이 가능한가?

주요 결과

• DenseImage 네트워크는 Something-Something 및 Jester 벤치마크에서 Two-Stream I3D나 TSN과 같은 기존 방법들을 능가하는 최신 기술 수준의 성능을 달성한다.
• 광학 흐름 제거 및 2D 컨볼루션 사용 덕분에 Two-Stream I3D 대비 파라미터 수는 1.9배 감소하고 계산 복잡도는 6.5배 감소한다.
• t-SNE 시각화 결과, 다양한 필터 너비(2, 4)에서 유사한 동작 클래스, 예를 들어 '손 흔들기'와 '두 손가락 끌어당기기'를 효과적으로 분리하는 특징이 생성됨을 확인했다.
• 필터 반응 시각화 결과, 시각적으로 복잡한 동작에서도 핵심 프레임과 시간 패턴을 정확히 식별하는 것을 확인했다.
• 기본 비교에서 시간 순서가 뒤집어져도 높은 정확도를 유지함으로써, 시간적 왜곡에 대한 강건성을 입증했다.
• 실험 결과, 국소적 시간 상관관계 제약 조건이 학습을 안정화시키고 다양한 시간 척도에서의 동적 진동 모델링을 향상시킴을 입증했다.