[논문 리뷰] Multi-Level Sequence GAN for Group Activity Recognition

Harshala Gammulle, Simon Denman외 2명|arXiv (Cornell University)|2018. 12. 18.

Human Pose and Action Recognition참고 문헌 26인용 수 4

한 줄 요약

이 논문은 사람 수준과 장면 수준의 특징을 LSTMs와 새로운 게이팅 퓨전 유닛을 통해 공동으로 학습하여 군집 활동 인식을 위한 구분 가능한 '행동 코드'를 생성하는 준감독형 다중 수준 시퀀스 GAN(MLS-GAN)을 제안한다. 모델은 수동으로 액션 레이블을 제공하지 않아도 장기적 의존성을 효과적으로 모델링하고 시각적 모odal을 모두 활용함으로써 볼리볼 및 공동 활동 데이터셋에서 최신 기술을 초월한다.

ABSTRACT

We propose a novel semi-supervised, Multi-Level Sequential Generative Adversarial Network (MLS-GAN) architecture for group activity recognition. In contrast to previous works which utilise manually annotated individual human action predictions, we allow the models to learn it's own internal representations to discover pertinent sub-activities that aid the final group activity recognition task. The generator is fed with person-level and scene-level features that are mapped temporally through LSTM networks. Action-based feature fusion is performed through novel gated fusion units that are able to consider long-term dependencies, exploring the relationships among all individual actions, to learn an intermediate representation or `action code' for the current group activity. The network achieves its semi-supervised behaviour by allowing it to perform group action classification together with the adversarial real/fake validation. We perform extensive evaluations on different architectural variants to demonstrate the importance of the proposed architecture. Furthermore, we show that utilising both person-level and scene-level features facilitates the group activity prediction better than using only person-level features. Our proposed architecture outperforms current state-of-the-art results for sports and pedestrian based classification tasks on Volleyball and Collective Activity datasets, showing it's flexible nature for effective learning of group activities.

연구 동기 및 목표

• 다양한 개인이 동적으로 상호작용하는 비디오에서 맥락이 중요한 군집 활동 인식의 과제를 해결하기 위해.
• 수동으로 레이블링된 개인 행동 레이블에 대한 의존도를 줄이기 위해 모델이 내부 표현을 자동으로 학습할 수 있도록 하기 위해.
• 통합된 생성적 적대적 프레임워크 내에서 사람 수준과 장면 수준의 시각적 특징을 통합하여 인식 성능을 향상시키기 위해.
• 학습된 데이터와 레이블이 없는 데이터를 모두 활용하여 일반화 능력을 향상시키는 준감독형 아키텍처를 개발하기 위해.
• 개별 행동과 그 상호작용에 대한 주의 유사 가중치를 학습하는 게이팅 퓨전 유닛(GFU)을 도입하여 더 나은 행동 코드 표현을 가능하게 하기 위해.

제안 방법

• 생성자는 각 수준의 시간적 동역학을 모델링하기 위해 별도의 LSTMs를 사용하여 사람 수준 및 장면 수준의 RGB 특징 시퀀스를 처리한다.
• 새로운 게이팅 퓨전 유닛(GFU)은 LSTMs의 출력을 조합하여 장기적 의존성과 개인 행동의 관련성을 반영하는 중간 행동 코드를 학습한다.
• 판별자는 이중 기능을 수행한다: 군집 활동을 분류하고, 실제(참값) 행동 코드와 생성된 코드를 구분한다.
• 모델는 레이블이 있는 데이터에 대한 지도 학습 분류 목표와 함께 실체/가짜 분류를 위한 GAN 목표를 결합하여 준감독 방식으로 훈련된다.
• 생성자는 의미적으로 유의미하고 실제 코드와 구분이 가지 않는 행동 코드를 생성하도록 훈련되며, 판별자는 적대적 피드백을 통해 향상된다.
• GFU는 학습된 주의 메커니즘에 기반해 개인 에이전트와 장면 컨텍스트의 기여도를 동적으로 가중하기 때문에 아키텍처는 엔드 투 엔드로 훈련 가능하다.

실험 결과

연구 질문

• RQ1 수동으로 레이블링된 개인 행동 레이블에 의존하지 않고도 준감독형 GAN 아키텍처가 군집 활동 표현을 효과적으로 학습할 수 있는가?
• RQ2 사람 수준과 장면 수준의 특징을 통합할 경우 군집 활동 인식 모델의 성능에 어떤 영향을 미치는가?
• RQ3 개별 행동 간 장기적 의존성을 모델링하는 게이팅 퓨전 유닛이 행동 코드 품질과 정확도에 얼마나 기여하는가?
• RQ4 제안된 MLS-GAN 프레임워크는 스포츠 및 보행자 기반 활동과 같은 다양한 데이터셋에 일반화되는가?
• RQ5 분류와 실체/가짜 식별이라는 이중 목표를 갖춘 적대적 훈련이 표준 지도 학습에 비해 특징 학습을 어떻게 향상시키는가?

주요 결과

• 제안된 MLS-GAN은 공동 활동 데이터셋에서 91.7%의 MPCA를 달성하여 이전 최고 기술보다 유의미한 성능 향상을 보였다.
• 볼리볼 데이터셋에서 MLS-GAN은 최신 기술 성능을 달성하여 스포츠 비디오 분석에서의 효과성을 입증했다.
• 제거 실험 결과 장면 수준의 특징을 제거한 MLS-GAN-ẑ는 MPCA가 91.2%로 떨어졌으며, 이는 장면 컨텍스트의 핵심적 역할을 시사한다.
• 게이팅 퓨전 유닛(GFU)은 기본 cGAN-GFU 모델 대비 MPCA 성능을 2.4% 향상시켜 상호작용 관계 모델링의 효과성을 입증했다.
• GAN 목표는 특징 학습을 크게 향상시켰다: 생성된 행동 코드에 기반한 분류기는 90.7%의 MPCA를 달성했고, 분류 손실만으로 생성자만 훈련한 경우는 60.5%에 그쳤다.
• 모델은 단일 CPU 코어에서 100개의 예측을 20.4초 내에 생성하여 실세계 구현에 적합한 합리적인 추론 효율성을 보였다.