[논문 리뷰] Video Representation Learning Using Discriminative Pooling

Jue Wang, Anoop Cherian외 2명|arXiv (Cornell University)|2018. 03. 26.

Human Pose and Action Recognition참고 문헌 45인용 수 18

한 줄 요약

이 논문은 학습된 SVM 기반 초평면을 사용해 배경 노이즈에서 구분되는 클립 수준의 특징을 식별함으로써 강력하고 엔드 투 엔드로 트레이닝 가능한 비디오 수준 표현을 가능하게 하는 새로운 비디오 표현 학습 방법인 Discriminative Pooling을 제안한다. 이 방법은 HMDB-51, Charades, NTU-RGBD 데이터셋에서 기존 풀링 기법보다 1–4%의 정확도 향상을 기록하며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Popular deep models for action recognition in videos generate independent predictions for short clips, which are then pooled heuristically to assign an action label to the full video segment. As not all frames may characterize the underlying action---indeed, many are common across multiple actions---pooling schemes that impose equal importance on all frames might be unfavorable. In an attempt to tackle this problem, we propose discriminative pooling, based on the notion that among the deep features generated on all short clips, there is at least one that characterizes the action. To this end, we learn a (nonlinear) hyperplane that separates this unknown, yet discriminative, feature from the rest. Applying multiple instance learning in a large-margin setup, we use the parameters of this separating hyperplane as a descriptor for the full video segment. Since these parameters are directly related to the support vectors in a max-margin framework, they serve as robust representations for pooling of the features. We formulate a joint objective and an efficient solver that learns these hyperplanes per video and the corresponding action classifiers over the hyperplanes. Our pooling scheme is end-to-end trainable within a deep framework. We report results from experiments on three benchmark datasets spanning a variety of challenges and demonstrate state-of-the-art performance across these tasks.

연구 동기 및 목표

• 모든 클립 수준 예측을 동일하게 취급하는 히우리스틱 풀링(예: 평균 풀링 또는 최대 풀링)의 한계를 해결하기 위해.
• 진정한 행동을 특징짓는 가장 정보가 많은 클립 수준의 특징을 식별하고 강조함으로써 비디오 표현 학습을 향상시키기 위해.
• 다중 예제 학습(MIL) 문제로 비디오 풀링을 재정의하여, 구분되는 특징과 배경 또는 노이즈 특징을 분리하는 것을 목표로 하기 위해.
• 구분 가능한 초평면과 행동 분류기를 동시에 최적화하는 엔드 투 엔드로 트레이닝 가능한 프레임워크를 개발하기 위해.
• 행동 인식, 예측, 검출, 스켈레톤 기반 행동 인식을 포함한 다양한 비디오 이해 벤치마크에서 뛰어난 성능을 입증하기 위해.

제안 방법

• 이 방법은 비디오 시퀀스를 '백'으로 모델링하며, 긍정적 백은 비디오의 특징을 포함하고, 부정적 백은 배경 또는 노이즈가 있는 프레임의 특징을 포함한다.
• 비선형 SVM를 사용해 최대 마진 이진 분류 문제를 설정하여 가장 구분력 있는 특징을 나머지 특징에서 분리하며, 초평면 파라미터가 비디오 수준의 기술자로 기능한다.
• 구분 가능한 초평면(SVMP 기술자)과 최종 행동 분류기를 동시에 엔드 투 엔드로 트레이닝하는 공동 최적화 목표를 사용한다.
• 딥 컨volution 네트워크 특징과 수작업 특징(예: IDT-FV)을 모두 지원하여 광범위한 적용 가능성을 확보한다.
• 비선형 결정 경계를 위해 커널링된 SVM를 활용하여 계산 효율성을 유지하면서도 구분 능력을 향상시킨다.
• 기존의 CNN 아키텍처에 전역 평균 풀링 레이어를 SVMP 레이어로 대체함으로써 전체 엔드 투 엔드 트레이닝을 가능하게 한다.

실험 결과

연구 질문

• RQ1 정보가 많은 클립 수준의 특징과 정보가 없는 특징 사이의 분리 초평면을 학습하는 구분 풀링 메커니즘이 비디오 표현 학습을 향상시킬 수 있는가?
• RQ2 제안된 SVM 기반 풀링 기법은 평균 풀링, 최대 풀링, 순위 풀링과 비교해 다양한 비디오 이해 작업에서 강건성과 정확도 면에서 어떻게 성능을 내는가?
• RQ3 제안된 방법이 딥 컨volution 네트워크 특징과 수작업 특징 간의 다양한 특징 유형과 다양한 비디오 데이터셋에 대해 얼마나 일반화 가능한가?
• RQ4 SVMP 기술자와 행동 분류기의 공동 학습은 별도로 풀링과 분류를 학습하는 것보다 더 높은 성능을 낼 수 있는가?
• RQ5 재학습 없이도 사전 학습된 모델(예: I3D)에 적용했을 때 이 방법이 강력한 성능을 유지할 수 있는가?

주요 결과

• HMDB-51에서 제안된 SVMP 방법은 ResNet + IDT 특징을 사용해 72.6%의 정확도를 기록했으며, 이는 이전 최고 기록보다 1.3% 향상된 성능이다.
• Charades 데이터셋에서 SVMP는 분류 작업에서 26.7%의 mAP, 검출 작업에서 14.2%의 mAP를 기록했으며, 다음으로 좋은 방법보다 각각 4.3%와 3.0% 높은 성능을 보였다.
• NTU-RGBD에서 SVMP는 교차 주관절 정확도를 78.5%로 향상시키고, 교차 시점 정확도를 86.4%로 끌어올려 최고의 베이스라인보다 각각 4.2%와 3.3% 높였다.
• I3D+ 모델을 사용한 HMDB-51에서 SVMP는 추가 데이터 없이도 81.3%의 정확도를 기록했으며, 원본 I3D+ 모델(80.9%)보다 0.4% 높은 성능을 보였다.
• t-SNE 시각화 결과, SVMP는 평균 풀링 또는 최대 풀링보다 더 구분력 있고 잘 분리된 특징 클러스터를 생성하는 것으로 확인되었다.
• 광범위한 아블레이션 실험을 통해 SVMP는 모든 데이터셋과 특징 유형에서 일관되게 성능 향상을 이끌어내어 강력한 일반화 능력과 강건성을 입증했다.