[논문 리뷰] Delving Deeper into Convolutional Networks for Learning Video Representations

Nicolas Ballas, Li Yao외 2명|PolyPublie (École Polytechnique de Montréal)|2015. 11. 19.

Human Pose and Action Recognition참고 문헌 32인용 수 148

한 줄 요약

이 논문은 사전 훈련된 ImageNet CNN의 모든 레이어에서 유도된 다중 수준의 시각적 인식(활성화값)과 컨볼루션형 GRU를 조합하여 비디오의 시공간 특징을 모델링하는 새로운 순환 컨볼루션 네트워크(RCN)를 제안한다. 저수준의 인식(고해상도)에 컨볼루션형 연결성을 가진 GRU를 적용함으로써 세밀한 운동 패턴을 포착하면서도 파rameter 수를 줄여, 3D-CNN 특징을 사용하지 않고 YouTube2Text 비디오 캡셔닝에서 최신 기술 수준(SOTA) 성능을 달성하였으며, UCF101 행동 인식 작업에서 3.4% 향상된 성능을 기록하였다.

ABSTRACT

We propose an approach to learn spatio-temporal features in videos from intermediate visual representations we call "percepts" using Gated-Recurrent-Unit Recurrent Networks (GRUs).Our method relies on percepts that are extracted from all level of a deep convolutional network trained on the large ImageNet dataset. While high-level percepts contain highly discriminative information, they tend to have a low-spatial resolution. Low-level percepts, on the other hand, preserve a higher spatial resolution from which we can model finer motion patterns. Using low-level percepts can leads to high-dimensionality video representations. To mitigate this effect and control the model number of parameters, we introduce a variant of the GRU model that leverages the convolution operations to enforce sparse connectivity of the model units and share parameters across the input spatial locations. We empirically validate our approach on both Human Action Recognition and Video Captioning tasks. In particular, we achieve results equivalent to state-of-art on the YouTube2Text dataset using a simpler text-decoder model and without extra 3D CNN features.

연구 동기 및 목표

• 기존 RCN가 고수준 CNN 특징에만 의존하여 세밀한 공간적 및 시간적 운동 세부 정보를 상실하는 한계를 해결하기 위해.
• 딥 컨볼루션 네트워크의 다양한 공간 해상도에서 유도된 시각적 인식을 활용하여 비디오 표현 학습을 향상시키기 위해.
• 고차원적 인식을 처리할 때 모델 복잡성을 줄이기 위해 GRU 아키텍처에 컨볼루션 연결성을 도입함으로써.
• 더 단순한 디코더와 추가적인 3D-CNN 특징 없이도 비디오 이해 작업에서 향상된 성능을 입증하기 위해.

제안 방법

• 사전 훈련된 ImageNet CNN의 모든 레이어에서 시각적 인식을 추출하며, 저수준(고해상도) 및 고수준(구분 능력 있는) 특징을 모두 사용한다.
• 완전 연결 연산을 컨볼루션 연산으로 대체하는 새로운 컨볼루션형 GRU 변종을 도입하여, 공간적 위치 간 국소 연결성과 파rameter 공유를 강제한다.
• GRU는 각 CNN 레이어의 인식을 별도로 처리하여 시간적 동역학을 모델링하면서도 공간적 토폴로지를 유지한다.
• 비디오 시퀀스의 장거리 시간적 의존성을 포착하기 위해 양방향 GRU를 사용한다.
• 최종 비디오 표현은 모든 인식 수준에서의 GRU 최종 은닉 상태를 연결하여 형성된다.
• 검증 NLL 기반 조기 정지 전략을 사용하여 교차 엔트로피 손실을 이용해 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 고수준 특징에만 의존하는 것과 비교해, 저수준 인식에서의 시간적 변동성을 모델링하면 비디오 표현 학습에 어떻게 기여하는가?
• RQ2 저수준 인식의 고차원적 성질은 공간적 및 시간적 정보를 손상시키지 않고 어떻게 완화할 수 있는가?
• RQ3 국소성과 파rameter 공유를 강제하는 컨볼루션형 GRU 아키텍처가 비디오 작업에서 기존 RNN보다 우수한 성능을 내는가?
• RQ4 이러한 다중 수준 인식 접근법은 3D-CNN 특징을 사용하지 않고도 비디오 캡셔닝에서 최신 기술 수준 성능을 달성할 수 있는가?
• RQ5 제안된 방법은 단일하고 간단한 디코더 아키텍처를 통해 행동 인식과 비디오 캡셔닝 양쪽 모두에 효과적인가?

주요 결과

• 제안된 방법은 VGG-16 인코더 베이스라인에 비해 YouTube2Text 비디오 캡셔닝 벤치마크에서 BLEU 점수 10% 상대적 향상을 기록하였다.
• 더 단순한 디코더를 사용하고 3D-CNN 특징을 전혀 사용하지 않아도 YouTube2Text에서 최신 기술 수준 성능을 달성하였으며, 복잡한 어텐션 메커니즘 또는 추가 3D-CNN 인코더를 사용하는 모델들을 초월하였다.
• UCF101 행동 인식 작업에서, 단지 최상위 레이어 인식만 사용하는 베이스라인 모델 대비 3.4% 절대적 향상을 기록하였다.
• 양방향 GRU-RCN 인코더는 BLEU, METEOR, CIDEr 모든 지표에서 VGG-16 인코더를 초월하였으며, BLEU 점수에서 10% 상대적 향상을 기록하였다.
• GoogleNet과 제안된 GRU-RCN 인코더의 조합은 BLEU 점수 0.4963을 기록하여 C3D나 계층적 RNN 디코더를 사용하는 모델들을 능가하였다.
• 제거 분석 결과, 다중 수준 인식 모델링이 필수적임을 확인하였으며, 고수준 인식만 사용할 경우 최적의 성능에 도달하지 못함을 입증하였다.