[논문 리뷰] Edge Based Grid Super-Imposition for Crowd Emotion Recognition

Amol Patwardhan|arXiv (Cornell University)|2016. 08. 07.

Anomaly Detection Techniques and Applications참고 문헌 25인용 수 6

한 줄 요약

이 논문은 영상 시퀀스를 사용하여 그룹 환경에서의 자발적 군중 정서를 탐지하기 위해 에지 기반 격자 초월 방법을 제안한다. 에지 검출 및 동적 격자 오버레이를 적용하여 색상 채널 간의 시간적 특징 변화를 추적함으로써, 이 방법은 실내에서 자발적인 상황에서 70.9%의 정확도를 달성하여 가림 및 시점 변화에 대해 강건함을 입증한다.

ABSTRACT

Numerous automatic continuous emotion detection system studies have examined mostly use of videos and images containing individual person expressing emotions. This study examines the detection of spontaneous emotions in a group and crowd settings. Edge detection was used with a grid of lines superimposition to extract the features. The feature movement in terms of movement from the reference point was used to track across sequences of images from the color channel. Additionally the video data capturing was done on spontaneous emotions invoked by watching sports events from group of participants. The method was view and occlusion independent and the results were not affected by presence of multiple people chaotically expressing various emotions. The edge thresholds of 0.2 and grid thresholds of 20 showed the best accuracy results. The overall accuracy of the group emotion classifier was 70.9%.

연구 동기 및 목표

• 이전 방법이 개인의 표정에 집중한 것에 비해, 그룹 및 군중 상황에서 자발적 정서를 인식하는 과제를 해결하기 위해.
• 군중 역학에서의 혼란스러운 정서 표현, 가림, 시점 변화가 발생하더라도 효과적으로 작동하는 방법을 개발하기 위해.
• 스포츠 이벤트와 같은 자발적 정서 자극에서 얻은 영상 데이터를 사용하여 실생활의 통제되지 않은 환경에서 지속적인 정서 탐지가 가능하도록 하기 위해.
• 에지 검출 및 격자 초월을 통해 분류 성능 향상을 위한 구분 가능한 시공간 특징을 추출하기 위해.

제안 방법

• 영상 프레임에 에지 검출을 적용하여 장면 내 주목할 만한 경계와 윤곽을 식별한다.
• 에지 검출된 이미지 위에 선의 격자를 겹쳐 시각적 공간을 셀로 분할하여 특징 추출을 수행한다.
• 색상 채널 데이터를 사용하여 연속 프레임 간에 격자 셀 강도 변화를 시간적으로 추적하여 운동 동역학을 캡처한다.
• 특징의 이동을 기준점 대비 측정하여 시간에 따른 정서 역학을 모델링한다.
• 특징 선택 최적화 및 노이즈 감소를 위해 에지 임계값(0.2)과 격자 임계값(20)을 사용한다.
• 추출된 시공간 특징을 기반으로 분류기를 학습시켜 군집 수준의 정서 상태를 인식한다.

실험 결과

연구 질문

• RQ1 에지 기반 격자 초월이 통제되지 않은 실내 환경에서 군중 정서의 시공간 역학을 효과적으로 캡처할 수 있는가?
• RQ2 군중 환경에서 흔한 가림 및 시점 변화 상황에서 이 방법의 성능은 어떠한가?
• RQ3 에지 및 격자 파rameter의 최적 정확도를 얻기 위한 최적의 임계값은 무엇인가?
• RQ4 이 방법은 다수의 개인으로부터 발생하는 혼란스럽고 자발적인 정서 표현에 얼마나 강인한가?
• RQ5 이 방법은 스포츠 상영과 같은 정서적으로 긴장감 있는 이벤트 기간 동안 촬영된 실생활 영상 데이터로 일반화 가능한가?

주요 결과

• 제안된 방법은 자발적 군중 반응 영상 시퀀스에서 총 70.9%의 군집 정서 분류 정확도를 달성하였다.
• 에지 임계값 0.2와 격자 임계값 20가 가장 높은 분류 정확도를 제공하여 특징 추출의 최적 균형을 나타냈다.
• 이 방법은 가림 및 시점 변화에 대해 강건함을 입증하였으며, 복잡하고 역동적인 장면에서도 성능 유지가 가능했다.
• 프레임 간 격자 셀 강도 변화의 시간적 추적을 통해 군중 환경에서 정서 역학을 효과적으로 모델링할 수 있었다.
• 이 방법은 스포츠 이벤트를 시청하는 상황과 같은 실내 환경에서 자발적 정서 반응을 성공적으로 캡처하였다.
• 색상 채널 데이터의 사용이 특징 표현을 향상시켜 군중 전반에서 정서 상태의 구분 능력을 향상시켰다.