[논문 리뷰] Convolutional Relational Machine for Group Activity Recognition

Sina Mokhtarzadeh Azar, Mina Ghadimi Atigh외 2명|arXiv (Cornell University)|2019. 04. 05.

Human Pose and Action Recognition참고 문헌 28인용 수 5

한 줄 요약

이 논문은 그룹 활동 인식을 위한 엔드 투 엔드 딥 CNN인 컨볼루션 리레이션 머신(CRM)을 제안한다. 이 모델은 중간 활동 맵을 통해 개인 간의 공간적 관계를 학습하며, 다단계 과정을 통해 이 맵을 정교화하고 특징을 집계하여 정확한 그룹 활동 분류를 수행한다. Volleyball(93.04% 정확도) 및 Collective Activity 데이터셋에서 최신 기술을 초월한다.

ABSTRACT

We present an end-to-end deep Convolutional Neural Network called Convolutional Relational Machine (CRM) for recognizing group activities that utilizes the information in spatial relations between individual persons in image or video. It learns to produce an intermediate spatial representation (activity map) based on individual and group activities. A multi-stage refinement component is responsible for decreasing the incorrect predictions in the activity map. Finally, an aggregation component uses the refined information to recognize group activities. Experimental results demonstrate the constructive contribution of the information extracted and represented in the form of the activity map. CRM shows advantages over state-of-the-art models on Volleyball and Collective Activity datasets.

연구 동기 및 목표

• 이미지 또는 영상 내 개인 간의 공간적 관계를 명시적으로 모델링하여 그룹 활동 인식을 향상시키기.
• 외관 및 시간적 특징을 초월한 관계적 단서를 포착하는 딥 러닝 아키텍처 개발하기.
• 개별 및 그룹 활동 관계를 인코딩하는 중간 활동 맵 표현 방식 도입하기.
• 예측 오차를 줄이기 위해 활동 맵을 다단계 과정으로 정교화하기.
• 사람 검출 또는 추적에 의존하지 않고 벤치마크 데이터셋에서 뛰어난 성능 달성하기.

제안 방법

• 모델은 컨볼루션 신경망을 사용하여 개별 및 그룹 활동 예측를 인코딩하는 初기 활동 맵을 생성한다.
• 다단계 정교화 구성 요소가 반복적으로 잘못된 예측를 줄이며 활동 맵을 향상시킨다.
• 정교화된 활동 맵을 영상 또는 영상 특징과 융합하여 최종 그룹 활동 분류를 수행한다.
• 모든 구성 요소를 공동 최적화하는 엔드 투 엔드 학습 전략을 적용한다.
• 공간 관계는 명시적 관계 풀링 또는 주목력 메커니즘을 사용하지 않고 활동 맵의 공간 구조를 통해 암묵적으로 모델링된다.
• 단일 프레임 및 다중 프레임 입력을 모두 사용하여 두 개의 공개 데이터셋인 Volleyball 및 Collective Activity에서 평가된다.

실험 결과

연구 질문

• RQ1 중간 활동 맵가 그룹 활동 인식을 위한 개인 간 공간 관계를 효과적으로 인코딩할 수 있는가?
• RQ2 활동 맵의 다단계 정교화가 단일 단계 방법에 비해 예측 정확도를 향상시키는가?
• RQ3 명시적 사람 검출 또는 추적 없이 CNN 기반 모델이 기존의 관계 모델링 방법을 초월할 수 있는가?
• RQ4 기본 벤치마크에서 제안된 CRM이 최신 기술 모델과 정확도 측면에서 어떻게 비교되는가?
• RQ5 모델이 외관 및 운동 특징을 초월해 공간적 맥락과 관계적 단서를 얼마나 효과적으로 활용하는가?

주요 결과

• CRM은 다중 프레임 설정에서 Volleyball 데이터셋에서 93.04%의 정확도를 달성하여 이전 최고 성능 모델보다 2.4% 높다.
• 단일 프레임 설정에서는 90.80%의 정확도를 기록하여 이전 최신 기술보다 2.5% 높다.
• Collective Activity 데이터셋에서는 85.75%의 다중 클래스 분류 정확도(MCA)를 달성하여 대부분의 이전 방법을 능가한다.
• 'Walking'과 'Crossing'을 'Moving'으로 통합한 후 MPCA가 94.2%에 도달하여 의미적으로 유사한 클래스 간 혼동을 크게 줄였다.
• 활동 맵 시각화 결과 CRM이 의미 있는 공간 표현을 학습하고 있음을 보여주며, 서로 다른 활동 클래스를 나타내는 명확한 색상 패턴이 관찰된다.
• 제거 실험 결과 다단계 정교화 및 집계 구성 요소가 성능 향상에 필수적임을 확인하였다.