[논문 리뷰] Deep Multimodal Feature Encoding for Video Ordering

Vivek Sharma, Makarand Tapaswi외 1명|arXiv (Cornell University)|2020. 04. 05.

Human Pose and Action Recognition참고 문헌 65인용 수 6

한 줄 요약

이 논문은 시간적 세그먼트 간 시각적, 청각적, 문맥적 특징을 융합함으로써 압축된 다중모odal 비디오 표현을 학습하는 자기지도 학습 방법인 시간적 압축 이중 풀링(Temporal Compact Bilinear Pooling, TCBP)을 제안한다. 비순서로 된 비디오 클립의 순서를 정하는 새로운 프록시 과제를 통해 훈련된 TCBP는 UCF101과 HMDB51에서 C3D 및 이중 스트림 네트워크와 같은 기존 방법들을 능가하는 최신 기술 수준의 성능을 달성하며, 시간적 및 다중모달 상호작용을 통합적으로 활용한다.

ABSTRACT

True understanding of videos comes from a joint analysis of all its modalities: the video frames, the audio track, and any accompanying text such as closed captions. We present a way to learn a compact multimodal feature representation that encodes all these modalities. Our model parameters are learned through a proxy task of inferring the temporal ordering of a set of unordered videos in a timeline. To this end, we create a new multimodal dataset for temporal ordering that consists of approximately 30K scenes (2-6 clips per scene) based on the "Large Scale Movie Description Challenge". We analyze and evaluate the individual and joint modalities on three challenging tasks: (i) inferring the temporal ordering of a set of videos; and (ii) action recognition. We demonstrate empirically that multimodal representations are indeed complementary, and can play a key role in improving the performance of many applications.

연구 동기 및 목표

• 비디오 클립의 시각적, 청각적, 문맥적 특징을 융합하는 압축된 통합 다중모달 표현을 개발한다.
• 비용이 많이 드는 애너테이션 없이 클립 수준의 표현을 학습하기 위해 비순서로 된 비디오 클립의 시간 순서 정렬을 위한 자기지도 프록시 과제를 도입한다.
• 훈련 및 평가를 위한 약 3만 개의 순서가 지정된 영화 장면(장면당 2~6개 클립)으로 구성된 새로운 다중모달 데이터셋을 구축한다.
• 비디오 이해 과제에서 다중모달 융합 및 시간적 모델링의 효과를 평가한다.
• TCBP가 행동 인식과 같은 후행 과제에서 성능을 향상시킬 수 있음을 입증한다.

제안 방법

• 시간적 동역학을 비디오 세그먼트 간에 통합하기 위해 텐서 스케치 기반의 압축 이중 풀링을 확장한 시간적 압축 이중 풀링(TCBP)을 제안한다.
• 시각적 및 청각적 특징을 추출하기 위해 딥 전학습 모델(C3D, ResNet)을 사용하고, 텍스트 임베딩에는 CLIP을 적용한다.
• 일반적으로 2~5초 간격의 여러 시간적 세그먼트 간에 모달 간 쌍별 상호작용을 TCBP로 인코딩하여 크기가 8192인 압축된 특징 벡터를 생성한다.
• 양성 및 음성 클립 쌍을 사용한 대비 손실을 통해 모델을 훈련한다: $\mathcal{L} = \sum_{(V_i,V_j)\in Pos} L(V_i,V_j) + \sum_{(V_i,V_j^\prime)\in Neg} \max(0, \alpha - L(V_i,V_j^\prime))$, 마진 $\alpha = 0.2$ 설정.
• 클립 쌍을 비교하고 올바른 시간 순서를 예측하기 위해 시아미즈 유사한 쌍둥이 네트워크 아키텍처를 사용한다.
• 3개의 세그먼트로 구성된 TSN 아키텍처를 사용하며, 각 세그먼트는 C3D를 거쳐서 처리되고, 요소별 곱셈과 TCBP를 통해 최종 인코딩이 이루어진다.

실험 결과

연구 질문

• RQ1 비디오 클립 순서 정렬에 기반한 자기지도 프록시 과제가 강력한 다중모달 표현을 효과적으로 학습할 수 있는가?
• RQ2 개별 모달(시각적, 청각적, 문맥적)과 그들의 통합 인코딩이 시간 순서 정렬 성능에 기여하는 방식은 어떠한가?
• RQ3 압축된 다중모달 인코딩 방법으로서 TCBP가 행동 인식과 같은 후행 비디오 이해 과제에서 성능 향상에 기여하는가?
• RQ4 기존의 풀링 방법(예: 이중 풀링 또는 NetVLAD)과 비교해 TCBP는 시간적 및 교차모달 상호작용을 얼마나 잘 포착하는가?
• RQ5 음성 예제가 시간 순서 정렬 표현 학습에 얼마나 기여하는가?

주요 결과

• TCBP는 UCF101에서 88.03%의 정확도, HMDB51에서 61.58%의 정확도를 기록하여 C3D(82.3% 및 56.8%), 이중 스트림 네트워크(88.0% 및 59.4%), iDT+FV(85.9% 및 57.2%)를 능가한다.
• 훈련 시 음성 예제를 포함시킴으로써 양성 예제 전용 훈련보다 성능 향상이 이루어져 일반화 능력 향상이 확인되었다.
• 통합 다중모달 표현(시각적, 청각적, 문맥적)이 단모달 표현보다 더 효과적이며, 상호보완성이 입증되었다.
• TCBP는 이중 풀링(CBP)과 iDT+FV보다 뚜렷이 뛰어난 성능을 보이며, 시간적 및 다중모달 상호작용을 효과적으로 모델링함을 시사한다.
• 추가 데이터나 파인튜닝 없이도 행동 인식 과제에서 최신 기술 수준의 성능을 달성하여 학습된 특징의 강건성을 입증한다.
• 제안된 약 3만 개의 순서가 지정된 영화 장면 데이터셋은 향후 다중모달 비디오 이해 연구를 위한 유의미한 벤치마크를 제공한다.