[논문 리뷰] Human Action Recognition using Local Two-Stream Convolution Neural Network Features and Support Vector Machines

David Torpey, Turgay Çelik|arXiv (Cornell University)|2020. 02. 19.

Human Pose and Action Recognition참고 문헌 25인용 수 5

한 줄 요약

이 논문은 RGB 및 옵티컬 플로우 입력에서 얻은 국소 시공간 특징을 사용하여 인간 행동 인식을 위한 이중 스트림 CNN 특징 추출 방법과 선형 SVM을 제안한다. 옵티컬 플로우 스케일링 및 코너 채우기 전처리를 적용하고 전체 영상 컨텍스트를 기반으로 SVM을 훈련시킴으로써, 특히 HMDB51 및 UCF101와 같은 복잡한 데이터셋에서 뚜렷한 정확도 향상을 달성한다. 이는 전역 SVM 융합이 간단한 코너 수준의 투표보다 우수하다는 것을 보여준다.

ABSTRACT

This paper proposes a simple yet effective method for human action recognition in video. The proposed method separately extracts local appearance and motion features using state-of-the-art three-dimensional convolutional neural networks from sampled snippets of a video. These local features are then concatenated to form global representations which are then used to train a linear SVM to perform the action classification using full context of the video, as partial context as used in previous works. The videos undergo two simple proposed preprocessing techniques, optical flow scaling and crop filling. We perform an extensive evaluation on three common benchmark dataset to empirically show the benefit of the SVM, and the two preprocessing steps.

연구 동기 및 목표

• 거대한 계산 자원을 요구하지 않고도 딥 페처를 활용한 인간 행동 인식 성능 향상.
• 국소 코너 특징에서 유도된 전역적, 전체 영상 표현에 선형 SVM을 훈련시키는 것이 코너 수준 예측의 공식 투표보다 성능이 뛰어나지 않는지 조사.
• 옵티컬 플로우 스케일링 및 코너 채우기와 같은 두 가지 단순한 전처리 기법이 다양한 데이터셋에서 인식 정확도에 미치는 영향 평가.
• 제안된 방법이 이전의 엔지니어링 및 딥 러닝 방법보다 복잡한 실세계 행동 데이터셋에서 더 잘 일반화됨을 보여주기.

제안 방법

• RGB 및 옵티컬 플로우 입력에 대해 사전 훈련된 I3D 네트워크를 사용하여 샘플링된 영상 스니펫에서 국소 시공간 특징을 추출한다.
• 옵티컬 플로우 스케일링을 적용하여 플로우 크기를 정규화함으로써, 다양한 운동 강도를 가진 영상 간의 특징 일관성 향상.
• 짧은 클립을 고정 길이로 패딩하여 변동하는 영상 지속 시간을 처리하고, 시간적 컨텍스트를 유지한다.
• 모든 코너에서 추출한 국소 특징을 연결하여 전역 영상 표현을 형성하고, 분류를 위한 고정 길이 벡터를 구성한다.
• 전체 영상 컨텍스트를 사용하여 분류를 수행하기 위해 전역 특징 표현에 선형 SVM을 훈련시킨다. 코너 수준의 투표가 아닌 전역 표현 기반 분류.
• 표준 분할 및 평가 지표를 사용하여 KTH, HMDB51, UCF101에서 평가하며, 전처리 및 분류기 선택에 대한 분석 연구를 수행한다.

실험 결과

연구 질문

• RQ1 국소 코너 특징에서 유도된 전역적, 전체 영상 표현에 선형 SVM을 훈련시키는 것이 코너 수준 예측의 다수결 투표보다 행동 인식 정확도를 높이는가?
• RQ2 옵티컬 플로우 스케일링 및 코너 채우기 전처리 기법이 행동의 시간 유사성이 다양하게 나타나는 데이터셋에서 성능에 어떤 영향을 미치는가?
• RQ3 표준 I3D 특징과 SVM을 사용하는 경량이고 효율적인 방법이 고성능 하드웨어나 대규모 데이터가 없이도 벤치마크 데이터셋에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 제안된 방법이 이전 최첨단 접근 방식보다 복잡하고 실세계적인 데이터셋인 HMDB51 및 UCF101에 더 잘 일반화되는가?

주요 결과

• 제안된 전체 영상 컨텍스트 기반의 SVM 기반 분류는 특히 공간적·시간적 컨텍스트가 더 중요한 복잡한 데이터셋인 HMDB51 및 UCF101에서 단순한 코너 수준 투표보다 뚜렷한 성능 향상을 보였다.
• KTH 데이터셋에서는 최고 평균 정확도 96.6%를 기록하여, 한 가지 최첨단 방법을 제외한 대부분의 이전 방법을 초월했다.
• HMDB51 데이터셋에서는 최고 평균 정확도 62.8%를 달성하여, 제한된 공간적·시간적 해상도에도 불구하고 강력한 일반화 능력을 보였다.
• UCF101 데이터셋에서는 SVM 및 전처리 기법을 적용한 결과 86.5%의 정확도를 기록하여 베이스라인 대비 6% 포인트 향상되었다.
• 옵티컬 플로우 스케일링 및 코너 채우기는 행동이 시간적으로 더 유사한 KTH 및 HMDB51에서 성능 향상을 보였지만, UCF101에서는 행동 간 시간 유사성이 낮아 전처리의 효과가 미미했다.
• 분석 연구 결과, 전처리 단계와 SVM 융합 전략이 어려운 실세계 환경에서 성능 향상의 핵심 기여 요소임을 확인했다.