[논문 리뷰] GD-GAN: Generative Adversarial Networks for Trajectory Prediction and Group Detection in Crowds

Tharindu Fernando, Simon Denman외 2명|arXiv (Cornell University)|2018. 12. 18.

Video Surveillance and Tracking Methods참고 문헌 9인용 수 4

한 줄 요약

이 논문은 비지도 딥 페처 학습을 사용하여 보행자 궤적을 동시에 예측하고 군집을 탐지하는 데 중점을 두는 GD-GAN이라는 생성적 적대적 네트워크 프레임워크를 제안한다. 시공간적 맥락과 희소성 정규화된 GAN 학습을 활용함으로써, 수동 레이블링이 없는 환경에서도 임의의 시나리오로의 전이가 가능한 임의의 작업에 특화된 표현을 학습할 수 있으며, 이는 여러 벤치마크에서 최신 기술들을 능가한다.

ABSTRACT

This paper presents a novel deep learning framework for human trajectory prediction and detecting social group membership in crowds. We introduce a generative adversarial pipeline which preserves the spatio-temporal structure of the pedestrian's neighbourhood, enabling us to extract relevant attributes describing their social identity. We formulate the group detection task as an unsupervised learning problem, obviating the need for supervised learning of group memberships via hand labeled databases, allowing us to directly employ the proposed framework in different surveillance settings. We evaluate the proposed trajectory prediction and group detection frameworks on multiple public benchmarks, and for both tasks the proposed method demonstrates its capability to better anticipate human sociological behaviour compared to the existing state-of-the-art methods.

연구 동기 및 목표

• 수동 레이블링된 데이터셋에 의존하지 않고 군집 내 성원 정보를 탐지하는 문제를 해결하기 위해.
• 사회적 신원과 상호작용 패턴을 포함하는 보행자 행동에 대한 풍부한 작업 특화 표현을 학습하기 위해.
• 궤적 예측과 군집 탐지를 동시에 최적화하는 통합된 딥 러닝 프레임워크를 개발하기 위해.
• 새로운 장면에 대해 재학습 없이도 직접 전이가 가능하도록 하기 위해.
• 수동으로 설계된 특징 대신 엔드 투 엔드로 학습된 표현을 사용하여 복잡한 인간의 이동 패턴을 더 잘 모델링하기 위해.

제안 방법

• 프레임워크는 생성자(generator)가 향후 궤적을 예측하고, 판별자(discriminator)가 현실적인 시공간 패턴을 강제하는 GAN 기반 아키텍처를 사용한다.
• 궤적 예측과 군집 탐지 양쪽에 관련된 특징을 학습시키기 위해 생성자 지도를 유도하는 맞춤형 손실 함수를 설계한다.
• 군집화의 분류 능력을 향상시키기 위해 생성자의 은닉 표현에 희소성 정규화를 적용한다.
• 군집화에 적합한 압축된 의미 있는 특징을 추출하기 위해 생성자의 컨텍스트 표현에 t-SNE 차원 축소를 적용한다.
• 감소된 특징에 대해 DBSCAN 군집화를 적용하여 비지도 방식으로 보행자 군집을 탐지한다.
• 관측된 궤적을 $T_{obs}$에서 시작하여 $T_{pred}$ 향후 단계를 예측하기 위해 전체 프로세스를 엔드 투 엔드로 학습하며, 생성자의 은닉 상태에서 컨텍스트 특징을 추출한다.

실험 결과

연구 질문

• RQ1 통합된 딥 러닝 프레임워크는 군집 내 보행자 궤적 예측과 비지도 군집 탐지의 성능을 동시에 향상시킬 수 있는가?
• RQ2 희소성 정규화된 GAN은 기존의 지도 학습 또는 GAN 기반 방법보다 더 분류 능력이 뛰어난 보행자 표현을 학습할 수 있는가?
• RQ3 수동으로 레이블링된 군집 정보가 없이도 제안된 방법이 최신 기술보다 더 뛰어난 군집 탐지 성능을 달성할 수 있는가?
• RQ4 학습된 특징이 거리, 정렬, 공통 목표 등의 사회적 상호작용 패턴을 어느 정도 잘 포괄하는가?
• RQ5 재학습 없이도 다양한 감시 환경 간에 이 프레임워크의 전이 능력은 어느 정도인가?

주요 결과

• 제안된 GD-GAN 모델은 CEB 벤치마크에서 79.2%의 F1 스코어, Student-003에서는 68.4%의 F1 스코어를 기록하여 모든 아블레이션 변형보다 뛰어난 성능을 보였다.
• 아블레이션 연구에서 GAN 판별자를 제거한 경우(GD-GAN / GAN) 성능이 저하되었으며, 정밀도 73.6%, 재현율 75.1%로, 적대적 학습의 필요성을 확인했다.
• L_1 희소성 정규화를 추가함으로써 표준 cGAN 기반 베이스라인 대비 군집 탐지 정확도가 향상되었으며, 이는 특징의 분류 능력을 향상시키는 데 기여함을 보여주었다.
• 수동으로 설계된 특징과 GD-GAN 특징를 조합한 경우(GD-GAN + hf) 성능 향상이 유의미하지 않았으며, 이는 모델의 특징가 이미 매우 정보가 풍부함을 시사한다.
• 모델는 실시간 추론을 구현하였으며, 단일 CPU 코어에서 30x2D 포인트를 가진 100개의 궤적을 0.712초 내에 처리하여 뛰어난 시간 효율성을 입증했다.
• t-SNE 투영 시각화 결과, 동일한 군집에 属하는 궤적이 더 조밀하게 임베딩되어 있음을 확인하였으며, 이는 모델이 사회적 상호작용 패턴을 효과적으로 인코딩할 수 있음을 검증했다.