[논문 리뷰] Online Learnable Keyframe Extraction in Videos and its Application with Semantic Word Vector in Action Recognition

G M Mashrur E Elahi, Yee‐Hong Yang|arXiv (Cornell University)|2020. 09. 25.

Video Analysis and Summarization참고 문헌 37인용 수 4

한 줄 요약

이 논문은 실시간으로 학습 가능한 열쇠 프레임 추출 모듈(OKFEM)을 제안하며, 학습 가능한 임계값과 운동 기반 특징을 사용하여 분류 가능한 영상 프레임을 선택함으로써 계산 부담을 크게 감소시킨다. 이 방법은 단지 30%의 프레임만을 사용함으로써 영상 요약 및 동작 인식 분야에서 최신 기술 수준(SOTA) 성능을 달성하며, 새로운 플러그인 모듈을 통해 의미어 벡터를 통합함으로써 추가적인 성능 향상을 이룬다.

ABSTRACT

Video processing has become a popular research direction in computer vision due to its various applications such as video summarization, action recognition, etc. Recently, deep learning-based methods have achieved impressive results in action recognition. However, these methods need to process a full video sequence to recognize the action, even though most of these frames are similar and non-essential to recognizing a particular action. Additionally, these non-essential frames increase the computational cost and can confuse a method in action recognition. Instead, the important frames called keyframes not only are helpful in the recognition of an action but also can reduce the processing time of each video sequence for classification or in other applications, e.g. summarization. As well, current methods in video processing have not yet been demonstrated in an online fashion. Motivated by the above, we propose an online learnable module for keyframe extraction. This module can be used to select key-shots in video and thus can be applied to video summarization. The extracted keyframes can be used as input to any deep learning-based classification model to recognize action. We also propose a plugin module to use the semantic word vector as input along with keyframes and a novel train/test strategy for the classification models. To our best knowledge, this is the first time such an online module and train/test strategy have been proposed. The experimental results on many commonly used datasets in video summarization and in action recognition have shown impressive results using the proposed module.

연구 동기 및 목표

• 행동 인식을 위한 전체 영상 딥러닝 방법에서 발생하는 높은 계산 비용과 중복 문제를 해결하기 위해.
• 기존의 열쇠 프레임 추출 방법의 한계, 특히 오프라인 성격과 수동 또는 복잡한 프레임 선택에 의존하는 문제를 해결하기 위해.
• 즉각적인 이웃 프레임 정보만을 사용하여 순차적으로 열쇠 프레임을 선택하는 온라인, 종단 간(end-to-end) 학습 가능한 모듈을 개발하기 위해.
• 의미어 벡터를 보조 입력 모odal로 통합하여 행동 인식 성능을 향상시키기 위해.
• 열쇠 프레임 기반 인식에서 모델 일반화 능력과 정확도를 향상시키는 데 기여하는 새로운 학습 및 추론 전략(ITTS)을 수립하기 위해.

제안 방법

• 운동 특징과 학습 가능한 임계값(TH)을 사용하여 영상 프레임을 순차적으로 처리하는 온라인 열쇠 프레임 추출 모듈(OKFEM)을 제안한다.
• 스пат리오틸로칼 역학을 포착하고 국소적 운동 변화에 기반해 열쇠 프레임 선택을 유도하기 위해 변형 가능한 컨volution 특징을 활용한다.
• 화면 간 이질성과 운동 에너지에 기반해 열쇠 프레임 선택을 최적화하기 위해 학습 가능한 임계값 메커니즘을 도입한다.
• 의미어 벡터(W2V)와 열쇠 프레임 특징을 융합하는 플러그인 모듈을 설계하여 행동 분류를 위한 의미적 맥락을 풍부하게 한다.
• 열쇠 프레임과 의미어 벡터만을 사용하여 효과적인 피니팅과 추론이 가능한 새로운 학습/검증 전략(ITTS)을 개발한다.
• 열쇠 프레임 선택 정확도를 향상시키기 위해 교차 엔트로피와 프레임 수준의 감독을 조합한 하이브리드 손실 함수를 활용한다.

실험 결과

연구 질문

• RQ1 온라인, 학습 가능한 열쇠 프레임 추출 방법은 계산 비용을 줄이면서도 행동 인식 정확도를 유지하거나 향상시킬 수 있는가?
• RQ2 전체 영상 처리에 비해 제안된 OKFEM 모듈은 대표적인 프레임을 얼마나 효과적으로 선택하는가?
• RQ3 열쇠 프레임에 의미어 벡터를 통합할 경우 행동 인식 성능 향상 정도는 어느 정도인가?
• RQ4 제안된 ITTS 학습 전략은 열쇠 프레임 기반 인식에서 모델 일반화 능력을 향상시킬 수 있는가?
• RQ5 이 방법은 영상 요약 및 행동 인식 벤치마크에서 최신 기술 수준 성능을 달성하는가?

주요 결과

• OKFEM는 원본 영상의 프레임 수를 30% 미만으로 줄이면서도 높은 인식 정확도를 유지하여 계산 비용을 크게 감소시킨다.
• HMDB51 데이터셋에서 OKFEM+I3D는 원본 I3D 모델보다 3.6% 높은 정확도를 기록하여 열쇠 프레임 기반 표현의 효과를 입증한다.
• W2V 플러그인 모듈을 추가하면 성능 향상이 이루어지며, OKFEM+W2V+I3D는 HMDB51에서 87.9%의 정확도를 달성하여 기준 모델을 4.1% 초월한다.
• Something-Something-V1 및 Kinetics-400 데이터셋에서 OKFEM+W2V+ResNet152는 전체 영상 시퀀스를 사용하는 모델를 능가하는 최신 기술 수준 성능을 기록한다.
• 정성적 분석을 통해 선택된 열쇠 프레임이 지표 중요도 점수와 밀도 있게 일치함을 확인하여, 이 방법의 정밀한 프레임 선택 능력을 검증한다.
• 이전 학습 설정에서 SumMe 및 TVSum 데이터셋에서 최고의 성능을 기록하여 강력한 일반화 능력과 요약 능력을 입증한다.