[논문 리뷰] Non-Volume Preserving-based Feature Fusion Approach to Group-Level Expression Recognition on Crowd Videos.

Kha Gia Quach, Ngan Le외 4명|arXiv (Cornell University)|2018. 11. 28.

Emotion and Mood Recognition참고 문헌 25인용 수 6

한 줄 요약

이 논문은 군집 영상에서 단체 수준의 표정 인식을 위한 비체적 보존 융합(NVPF) 프레임워크를 제안하며, 공간적 및 시간적 관계를 모델링하기 위해 딥 페처 레벨 융합을 활용한다. 이 방법은 새로운 단체 수준의 감정 인식 영상 데이터셋(GECV)에서 최신 기술 수준의 성능을 달성하여 개인, 단체, 프레임 수준에서 감정을 인식하는 데 있어 뛰어난 견고성을 입증한다.

ABSTRACT

Group-level emotion recognition (ER) is a growing research area as the demands for assessing crowds of all sizes is becoming an interest in both the security arena as well as social media. This work extends the earlier ER investigations, which focused on either group-level ER on single images or within a video, by fully investigating group-level expression recognition on crowd videos. In this paper, we propose an effective deep feature level fusion mechanism to model the spatial-temporal information in the crowd videos. In our approach, the fusing process is performed on deep feature domain by a generative probabilistic model, Non-Volume Preserving Fusion (NVPF), that models spatial information relationship. Furthermore, we extend our proposed spatial NVPF approach to spatial-temporal NVPF approach to learn the temporal information between frames. In order to demonstrate the robustness and effectiveness of each component in the proposed approach, three experiments were conducted: (i) evaluation on AffectNet database to benchmark the proposed EmoNet for recognizing facial expression; (ii) evaluation on EmotiW2018 to benchmark the proposed deep feature level fusion mechanism NVPF; and, (iii) examine the proposed TNVPF on an innovative Group-level Emotion on Crowd Videos (GECV) dataset composed of 627 videos collected from publicly available sources. GECV dataset is a collection of videos containing crowds of people. Each video is labeled with emotion categories at three levels: individual faces, group of people and the entire video frame.

연구 동기 및 목표

• 단일 이미지나 고립된 프레임을 넘어서 전체 군집 영상에서 단체 수준의 표정 인식에 대한 격차를 해소하기 위해.
• 군집 영상 내에서 공간적 및 시간적 관계를 효과적으로 모델링할 수 있는 딥 페처 레벨 융합 기법을 개발하기 위해.
• 개인, 단체, 전체 프레임 수준에서의 감정 레이블이 포함된 새로운 벤치마크 데이터셋 GECV를 구축하고 공개하기 위해.
• 실제 군집 영상 데이터에서 제안된 NVPF 및 시간적 NVPF(TNVPF) 방법의 성능을 평가하여 감정 인식을 향상시키기 위해.
• 다양한 데이터셋에서의 추론 및 분석 실험을 통해 융합 기법의 효과성을 입증하기 위해.

제안 방법

• 공간적 관계를 유지하면서 딥 페처를 융합하는 비체적 보존 융합(NVPF)을 제안하며, 군집 영상 내에서 공간적 관계를 모델링하는 생성적 확률 모델이다.
• 공간 NVPF를 시간적 동역학을 모델링할 수 있도록 공간-시간 NVPF(TNVPF)로 확장한다.
• 딥 페처 도메인에서 NVPF 메커니즘을 적용하여 다수의 프레임과 얼굴 영역의 표현을 통합한다.
• 체적 보존을 가정하지 않는 확률적 프레임워크를 사용하여 특징 간 상호작용을 모델링함으로써, 더 유연하고 표현력 있는 융합을 가능하게 한다.
• GECV 데이터셋에서 개인, 단체, 프레임 수준에서 감정을 레이블링하는 다중 수준 레이블링 체계를 도입하여 학습 및 평가에 활용한다.
• AffectNet(얼굴 표정 인식용), EmotiW2018(특징 융합용), 그리고 새로운 GECV 데이터셋(단체 수준 인식용)을 포함한 세 가지 벤치마크에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 제안된 NVPF 메커니즘이 군집 영상에서 단체 수준의 표정 인식을 위한 딥 페처 융합에 얼마나 효과적인가?
• RQ2 공간-시간 확장(TNVPF)이 영상의 여러 프레임 간 시간적 동역학을 모델링함으로써 성능 향상에 기여하는가?
• RQ3 다중 수준 감정 레이블이 포함된 실생활 군집 영상 데이터에서 기존 접근법과 비교해 제안된 방법은 어떻게 성능을 내는가?
• RQ4 공간 모델링과 시간 모델링 각각의 구성 요소가 종합적인 인식 성능에 기여하는 정도는 어떠한가?
• RQ5 다양하고 공개된 출처의 군집 영상에서 평가했을 때, 이 방법은 얼마나 견고한가?

주요 결과

• 제안된 NVPF 방법은 딥 페처 레벨 융합을 위한 EmotiW2018 벤치마크에서 최신 기술 수준의 성능를 달성하여 복잡한 특징 상호작용을 효과적으로 모델링할 수 있음을 입증한다.
• TNVPF 확장은 군집 영상의 프레임 간 시간적 종속성을 포착함으로써 인식 정확도를 크게 향상시킨다.
• 최근 도입된 GECV 데이터셋에서, 이 방법은 개인, 단체, 프레임 수준의 모든 감정 레이블링 수준에서 뛰어난 성능을 기록한다.
• 추론 실험 결과, 공간 모델링과 시간 모델링 구성 요소 모두 최종 인식 정확도에 의미 있는 기여를 한다고 확인된다.
• 다양한 영상 소스에서의 평가에서 견고한 성능를 보이며, 실생활 군집 영상 데이터에 대한 일반화 능력을 입증한다.
• GECV 데이터셋은 개인, 단체, 프레임 수준의 다중 수준 레이블링이 포함되어 있으며, 627개의 영상로 구성되어 있어 향후 단체 수준의 표정 인식 연구에 유용한 기초 벤치마크를 제공한다.