[논문 리뷰] Deep Keyframe Detection in Human Action Videos

Xiang Yan, Syed Zulqarnain Gilani외 4명|arXiv (Cornell University)|2018. 04. 26.

Human Pose and Action Recognition참고 문헌 33인용 수 15

한 줄 요약

이 논문은 인간 동작 영상에서 关键 프레임 검출을 위한 딥 두 개의 스트림 컨볼루션 네트워크를 제안하며, 선형 판별 분 析(LDA) 기반의 새로운 자동 레이블 생성 방법을 사용해 네트워크를 훈련시킨다. 이 모델은 UCF101 데이터셋에서 평균 위치 오차가 한 프레임 이하로 매우 높은 정확도를 달성하여, 이 분야에서 딥 러닝 기반의 첫 번째 벤치마크를 설정한다.

ABSTRACT

Detecting representative frames in videos based on human actions is quite challenging because of the combined factors of human pose in action and the background. This paper addresses this problem and formulates the key frame detection as one of finding the video frames that optimally maximally contribute to differentiating the underlying action category from all other categories. To this end, we introduce a deep two-stream ConvNet for key frame detection in videos that learns to directly predict the location of key frames. Our key idea is to automatically generate labeled data for the CNN learning using a supervised linear discriminant method. While the training data is generated taking many different human action videos into account, the trained CNN can predict the importance of frames from a single video. We specify a new ConvNet framework, consisting of a summarizer and discriminator. The summarizer is a two-stream ConvNet aimed at, first, capturing the appearance and motion features of video frames, and then encoding the obtained appearance and motion features for video representation. The discriminator is a fitting function aimed at distinguishing between the key frames and others in the video. We conduct experiments on a challenging human action dataset UCF101 and show that our method can detect key frames with high accuracy.

연구 동기 및 목표

• 인간 동작 영상에서 关键 프레임 검출을 위한 벤치마크 데이터셋과 지도 레이블의 부족 문제를 해결하기 위해.
• 수동 레이블링에 의존하지 않고 종단 간 전형적인 영상 프레임을 자동으로 검출할 수 있는 엔드 투 엔드 딥 러닝 프레임워크를 개발하기 위해.
• 행동 카테고리 간 최적으로 구분되는 영상 프레임을 식별하여 영상 요약 및 행동 인식 성능을 향상시키기 위해.
• 사람이 수작업으로 레이블링한 关键 프레임의 주관성과 일관성 부족 문제를 해결하기 위해 객관적이고 데이터 기반의 레이블 생성 방법을 도입하기 위해.
• CNN과 선형 판별 분석을 조합하여 영상에서 프레임 중요도 예측에 효과적인지 검증하기 위해.

제안 방법

• RGB 프레임과 옵티컬 플로우를 별도로 처리하여 공간적 및 시간적 특징을 추출하기 위해 두 개의 스트림 컨볼루션 네트워크 아키텍처를 사용한다.
• 최종 컨볼루션 레이어(f_c7)에서 추출한 외관 및 운동 특징을 프레임 단위로 결합하여 시공간 특징 벡터를 생성한다.
• 모든 비디오 수준의 특징을 선형 판별 분석(LDA)을 적용하여 저차원의 구분 가능한 공간으로 투영한다.
• 각 프레임의 LDA 투영 결과와 클래스 중심점 간의 거리를 계산하여, 클래스 평균에 가까운 프레임일수록 높은 점수를 할당함으로써 프레임 수준의 레이블을 자동으로 생성한다.
• 자동 생성된 레이블을 사용하여 키 프레임과 비키 프레임을 구분하는 디스크림리네이터 헤드를 훈련시킨다.
• RGB 및 옵티컬 플로우 입력을 사용하여 UCF101 데이터셋에서 엔드 투 엔드로 모델을 훈련시키며, 동시에 프레임 수와 위치 정확도를 최적화하는 손실 함수를 적용한다.

실험 결과

연구 질문

• RQ1 지도 레이블이 전혀 없는 상황에서 딥 러닝 모델이 인간 동작 영상에서 관건 프레임을 높은 정확도로 검출할 수 있는가?
• RQ2 LDA 기반의 자동 레이블 생성 방법이 관건 프레임 검출을 위한 신뢰할 수 있는 프레임 수준의 지도 정보를 얼마나 효과적으로 생성하는가?
• RQ3 두 개의 스트림 컨볼루션 네트워크가 외관과 운동 특징을 통합적으로 모델링함으로써 인간 행동의 본질을 잘 반영하는 대표적 프레임을 얼마나 잘 식별할 수 있는가?
• RQ4 기존 방법 대비 표준 벤치마크에서 관건 프레임의 위치 및 수 정확도 측면에서 본 모델이 얼마나 뛰어난 성능을 보이는가?
• RQ5 각 영상당 다수의 관건 프레임이 검출되는 것으로 나타나, 모델이 복잡한 행동을 암묵적으로 하위 이벤트로 분해하는가?

주요 결과

• 제안된 방법은 UCF101 데이터셋에서 평균 관건 프레임 위치 오차가 한 프레임 이하로 매우 높은 시간 정밀도를 확보하였다.
• 검출된 관건 프레임 수가 지도 레이블과 매우 유사하며, 평균 수 오차가 낮아 프레임 수 추정이 매우 안정적임을 보였다.
• 정성적 결과에서 모델은 다양한 행동 카테고리에 걸쳐 중요한 행동 단계(예: 들어 올리기, 던지기, 착지하기 등)에 해당하는 프레임을 효과적으로 검출하였다.
• 예를 들어 '베이스볼 피치', '클린 앤 제르크', '다이빙', '하이 점프'와 같은 행동에서는 세 가지 주요 하위 이벤트를 성공적으로 식별하여 암묵적인 행동 분해가 가능함을 보였다.
• LDA를 통한 자동 레이블 생성은 일관되고 구분 가능한 프레임 수준의 지도 정보를 생성하여 인간 수작업 레이블 없이도 효과적인 훈련이 가능함을 입증하였다.
• 본 연구는 UCF101에서 딥 러닝 기반의 관건 프레임 검출에 대해 처음으로 벤치마크 결과를 제시하며, 향후 연구를 위한 새로운 기준을 설정하였다.