[논문 리뷰] Appearance-and-Relation Networks for Video Classification

Limin Wang, Wei Li외 2명|arXiv (Cornell University)|2017. 11. 24.

Human Pose and Action Recognition참고 문헌 46인용 수 44

한 줄 요약

이 논문은 RGB 입력만을 사용하여 공간적 외형과 시간적 관계를 명시적으로 모델링하는 새로운 비디오 분류 아키텍처인 Appearance-and-Relation Networks (ARTNet)를 제안한다. 이는 2D 컨볼루션을 사용해 외형을 모델링하고, 프레임 간의 곱셈 상호작용을 통해 관계를 모델링하는 두 가지 분支를 가진 SMART 블록을 사용한다. ARTNet는 Kinetics, UCF101, HMDB51에서 최신 기준(SOTA) 성능을 달성하였으며, 동일한 학습 설정에서 3D CNN 및 이중 스트림 네트워크를 모두 능가한다.

ABSTRACT

Spatiotemporal feature learning in videos is a fundamental problem in computer vision. This paper presents a new architecture, termed as Appearance-and-Relation Network (ARTNet), to learn video representation in an end-to-end manner. ARTNets are constructed by stacking multiple generic building blocks, called as SMART, whose goal is to simultaneously model appearance and relation from RGB input in a separate and explicit manner. Specifically, SMART blocks decouple the spatiotemporal learning module into an appearance branch for spatial modeling and a relation branch for temporal modeling. The appearance branch is implemented based on the linear combination of pixels or filter responses in each frame, while the relation branch is designed based on the multiplicative interactions between pixels or filter responses across multiple frames. We perform experiments on three action recognition benchmarks: Kinetics, UCF101, and HMDB51, demonstrating that SMART blocks obtain an evident improvement over 3D convolutions for spatiotemporal feature learning. Under the same training setting, ARTNets achieve superior performance on these three datasets to the existing state-of-the-art methods.

연구 동기 및 목표

• 비디오에서 효과적인 시공간 표현을 학습하기 위해, 통합적이면서도 분리된 아키텍처를 통해 외형과 시간적 관계를 명시적으로 모델링하는 것.
• 3D CNN의 한계를 극복하기 위해, 두 가지 특징를 암묵적으로 모델링하고 두 스트림 네트워크에 비해 성능이 열 劣한 점을 해결하는 것.
• 비디오 분류를 위한 특징 학습을 향상시키는 일반적이고 엔드 투 엔드로 훈련 가능한 빌딩 블록(SMART)을 설계하는 것.
• 기본 벤치마크인 Kinetics, UCF101, HMDB51에서 학습된 표현의 우수한 성능과 이식 가능성(transferability)을 입증하는 것.

제안 방법

• SMART 블록은 시공간 학습을 두 가지 병렬 분지로 분리한다: 각 프레임 내의 공간적 구조를 모델링하기 위해 2D 컨볼루션을 사용하는 외형 분지.
• 관계 분지는 여러 프레임 간의 특징 반응 간의 곱셈 상호작용을 사용하여 시간 역학을 모델링하며, 이는 사각형 풀링 구조로 구현된다.
• 두 분지의 출력은 연결되고, 1x1 컨볼루션을 통해 압축되어 효율적인 통합 표현을 생성한다.
• ARTNet는 다수의 SMART 블록을 스택하여 다중 해상도의 시공간 구조를 계층적으로 모델링할 수 있도록 구성된다.
• 아키텍처는 C3D-ResNet18 백본으로 구현되며, TSN과 같은 장기적 모델링 프레임워크와 조합하여 성능 향상을 이룰 수 있다.
• 모델은 오직 RGB 입력만을 사용하여 엔드 투 엔드로 처음부터 훈련되며, 추가적인 성능 향상을 위해 옵티컬 플로우 통합도 가능하다.

실험 결과

연구 질문

• RQ1 비디오 분류에서 외형과 시간적 관계를 명시적으로 모델링하는 것이 3D 컨볼루션을 통한 암묵적 통합 모델링보다 성능이 뛰어나게 되는가?
• RQ2 공간적 및 시간적 특징 학습을 분리하는 이중 분지 아키텍처가 이중 스트림 또는 3D CNN 접근법보다 더 뛰어난 성능을 내는가?
• RQ3 ARTNet가 학습한 표현이 UCF101 및 HMDB51와 같은 후속 동작 인식 벤치마크로 얼마나 잘 일반화되는가?
• RQ4 단지 Kinetics 데이터셋에서 미리 훈련된 ARTNet의 성능이 최신 기준 방법과 비교해 어떻게 되는가?

주요 결과

• ARTNet는 오직 RGB 입력만을 사용하여 처음부터 훈련했을 때 Kinetics 데이터셋에서 94.3%의 top-1 정확도를 달성하였으며, 동일한 조건에서 이전 최신 기준 방법(RGB-I3D)을 능가하였다.
• UCF101에서는 94.3%의 정확도를 기록하였고, HMDB51에서는 70.9%를 달성하여, C3D보다 각각 3.7%, 5.5% 높은 성능을 보였다. 이는 강력한 이식 가능성(transferability)을 시사한다.
• 성능 향상의 원인은 별도이지만 융합된 분지들을 통해 외형과 관계를 명시적으로 모델링함으로써, 3D 컨볼루션보다 더 효과적으로 시공간적 구조를 포착하기 때문이라고 판단된다.
• TSN 프레임워크와 결합하여 희소 슬라이스 집합을 처리할 경우 ARTNet는 성능 향상을 더 높였으며, 이는 장거리 시간적 모델링과의 호환성을 보여준다.
• 단지 Kinetics에서 미리 훈련된 ARTNet는 ImageNet+Kinetics에서 미리 훈련된 RGB-I3D와 유사한 성능을 달성하였으며, 이는 Kinetics 데이터셋이 비디오 표현 학습에 있어 높은 품질과 대표성을 지닌다는 점을 시사한다.
• 옵티컬 플로우의 추가는 정확도를 더 높였으며, 이는 그가 상호보완적인 역할을 한다는 것을 확인하지만, 높은 계산 비용을 수반한다.