[논문 리뷰] Time Perception Machine: Temporal Point Processes for the When, Where and What of Activity Prediction

Yatao Zhong, Bicheng Xu외 3명|arXiv (Cornell University)|2018. 08. 13.

Human Mobility and Location-Based Analysis참고 문헌 30인용 수 10

한 줄 요약

이 논문은 스트리밍 비디오 및 궤적 데이터에서 향후 인간 활동의 '언제', '어디서', '무엇'을 예측하기 위해 계층적 RNN와 시간적 점과정을 결합한 새로운 딥러닝 프레임워크인 Time Perception Machine(TPM)을 소개한다. 원본 프레임에서 조건부 강도 함수를 학습하고 사건 프레임에서 특징을 추출하면서도 맥락을 유지함으로써, TPM은 복잡한 시간 동적 특성을 포착하고 공동 활동 예측에서 전통적인 통계 모델을 능가한다.

ABSTRACT

Numerous powerful point process models have been developed to understand temporal patterns in sequential data from fields such as health-care, electronic commerce, social networks, and natural disaster forecasting. In this paper, we develop novel models for learning the temporal distribution of human activities in streaming data (e.g., videos and person trajectories). We propose an integrated framework of neural networks and temporal point processes for predicting when the next activity will happen. Because point processes are limited to taking event frames as input, we propose a simple yet effective mechanism to extract features at frames of interest while also preserving the rich information in the remaining frames. We evaluate our model on two challenging datasets. The results show that our model outperforms traditional statistical point process approaches significantly, demonstrating its effectiveness in capturing the underlying temporal dynamics as well as the correlation within sequential activities. Furthermore, we also extend our model to a joint estimation framework for predicting the timing, spatial location, and category of the activity simultaneously, to answer the when, where, and what of activity prediction.

연구 동기 및 목표

• 비디오 및 궤적과 같은 스트리밍 데이터에서 단순 탐지나 인식을 넘어서 향후 인간 활동을 예측하는 데 있어 발생하는 격차를 메우기 위해.
• 모든 '언제', '어디서', '무엇' 예측을 위한 통합 프레임워크를 통해 희소하고 의미 있는 활동 사건의 시간 분포를 모델링하기 위해.
• 비활동 프레임에서 풍부한 맥락 정보를 유지하면서도 관심 있는 프레임에 집중할 수 있는 특징 추출 기법을 개발하기 위해.
• 수작업으로 설계된 강도 함수에 의존하지 않고 신경망을 통해 원시 데이터에서 직접 조건부 강도를 학습하기 위해.
• 다중 모odal 활동 예측을 위한 연속적인 추정 프레임워크로 시간적 점과정을 확장하기 위해.

제안 방법

• 스킵 연결을 갖춘 계층적 순환 신경망이 다중 해상도 시간 특징을 처리하여 사건 프레임에서 표현을 추출하면서도 비활동 프레임의 정보를 유지한다.
• 모델은 신경망을 사용하여 시간적 점과정의 조건부 강도 함수 $\lambda^*(t)$ 를 학습함으로써 이벤트 발생 패턴의 엔드 투 엔드 학습을 가능하게 한다.
• 조건부 강도는 $\lambda^*(t) = e^{v h_j + w(t - t_j) + b}$ 로 모델링되며, $w \geq 0$ 인 조건을 만족함으로써 타당성과 시간에 따라 변화하는 동적 특성을 반영한다.
• 관측된 이벤트 시간의 로그우도를 최적화하여 최대우도추정을 사용해 모델을 훈련한다.
• 공유된 표현을 사용하여 다음 활동의 시간, 공간적 위치, 카테고리를 동시에 예측할 수 있는 공동 예측 헤드를 도입한다.
• 모델은 두 개의 도전적인 데이터셋에서 검증되었으며, 전통적인 통계적 점과정 모델보다 뛰어난 성능을 보였다.

실험 결과

연구 질문

• RQ1 수작업으로 설계된 강도 함수에 의존하지 않고 스트리밍 비디오 및 궤적 데이터에서 다음 활동의 시간을 효과적으로 예측할 수 있는 딥러닝 모델은 가능한가?
• RQ2 의미 있는 활동가지가 발생하는 프레임에 집중하면서도 비활동 프레임에서의 맥락 정보를 어떻게 유지할 수 있는가?
• RQ3 시간적 점과정을 활용한 통합 프레임워크로 향후 활동의 '언제', '어디서', '무엇'을 얼마나 잘 공동으로 예측할 수 있는가?
• RQ4 원시 데이터에서 조건부 강도 함수를 엔드 투 엔드로 학습하는 것이 기존의 통계적 접근 방식에 비해 예측 정확도를 향상시키는가?
• RQ5 제안된 계층적 RNN 아키텍처는 순차적 활동 데이터의 다중 해상도 시간 동적 특성을 효과적으로 모델링할 수 있는가?

주요 결과

• Time Perception Machine는 두 개의 도전적인 데이터셋에서 전통적인 통계적 점과정 모델보다 향후 활동 예측 시간 예측에서 뚜렷한 승리를 거두었다.
• 모델은 원시 비디오 및 궤적 데이터에서 직접 조건부 강도 함수를 학습함으로써 수작업으로 설계된 특징이 필요 없이 뛰어난 성능을 달성하였다.
• 스킵 연결을 갖춘 계층적 RNN은 세부적인 사건 수준의 특징과 근본적인 시간적 맥락을 효과적으로 포착하여 표현 품질을 향상시켰다.
• 공동 예측 프레임워크는 향후 활동의 시간, 위치, 카테고리 간의 상호의존성을 성공적으로 모델링하여 통합적인 예측을 가능하게 하였다.
• 이론적 분석을 통해 제안된 조건부 강도 함수는 $w \geq 0$ 인 경우에만 타당함을 확인하였으며, 이는 적절한 확률적 해석을 보장한다.
• 실험 결과는 스포츠 및 인간 운동 시퀀스에서 다양한 활동 패tern에 대해 모델이 잘 일반화됨을 보여주었다.