[논문 리뷰] Understanding Human Gaze Communication by Spatio-Temporal Graph Reasoning

Lifeng Fan, Wenguan Wang외 3명|arXiv (Cornell University)|2019. 09. 04.

Multimodal Machine Learning Applications참고 문헌 61인용 수 23

한 줄 요약

이 논문은 사회적 상호작용에서 인간의 시선 커뮤니케이션을 위한 대규모 비디오 데이터셋 VACATION을 소개하고, 원자 수준 및 사건 수준의 시선 동역학을 모델링하기 위해 시공간 그래프 신경망을 제안한다. 이 방법은 시공간 그래프를 통해 메시지 전파를 이용해 세밀한 시선 유형을 추론하고, 인코더-디코더 네트워크를 통해 고수준의 커뮤니케이션 이벤트를 처리하며, 원자 수준 분류에서 55.02%의 상위-1 정확도와 사건 수준 작업에서 지도 레이블을 사용할 경우 55.9%의 최신 기술을 달성한다.

ABSTRACT

This paper addresses a new problem of understanding human gaze communication in social videos from both atomic-level and event-level, which is significant for studying human social interactions. To tackle this novel and challenging problem, we contribute a large-scale video dataset, VACATION, which covers diverse daily social scenes and gaze communication behaviors with complete annotations of objects and human faces, human attention, and communication structures and labels in both atomic-level and event-level. Together with VACATION, we propose a spatio-temporal graph neural network to explicitly represent the diverse gaze interactions in the social scenes and to infer atomic-level gaze communication by message passing. We further propose an event network with encoder-decoder structure to predict the event-level gaze communication. Our experiments demonstrate that the proposed model improves various baselines significantly in predicting the atomic-level and event-level gaze

연구 동기 및 목표

• 사회적 영상 내 인간의 시선 커뮤니케이션을 원자 수준(세밀한 시선 유형)과 사건 수준(복잡한 사회적 이벤트)의 관점에서 이해하는 데 도전하는 것.
• 시선, 얼굴, 물체 및 커뮤니케이션 구조의 세부 주석이 달린 대규모 비디오 데이터셋인 VACATION을 구축하여 종합적인 벤치마크를 마련하는 것.
• 메시지 전파와 시간적 모델링을 통해 동적인 시선 상호작용을 포착하는 시공간 그래프 추론 모델을 개발하는 것.
• 정확한 시선 커뮤니케이션 추론을 통해 인간-로봇 상호작용, 가상현실 시뮬레이션, 자폐증 진단 및 인지 모델링을 향상시키는 것.

제안 방법

• 에이전트를 노드로, 시선 상호작용을 간선으로 모델링하는 시공간 그래프 신경망을 제안하며, 원자 수준의 시선 커뮤니케이션 유형을 추론하기 위해 메시지 전파를 활용한다.
• 반복적인 메시지 전파를 통해 시간이 지남에 따라 에이전트 간의 주의와 시선 맥락을 전파하는 GNN을 사용한다.
• 원자 행동의 시간적 조합을 모델링하기 위해 이벤트 수준의 시선 커뮤니케이션 예측을 위한 인코더-디코더 아키텍처를 활용한다.
• ResNet50(192-d)에서 유도된 노드 특징과 위치 정보를 사용하며, 인접 행렬은 주의 메커니즘을 통해 학습한다.
• 3D 합성곱 레이어를 적용하여 인접 행렬과 시간적 동역학을 처리함으로써 공간-시간 동시 추론을 가능하게 한다.
• 노드 특징 추출, 메시지 전파 반복 횟수, 시간적 모델링 구성 요소에 대한 분석 실험을 수행하여 설계 선택의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 어떻게 사회적 영상에서 상호 시선, 시선 회피, 시선 따라가기와 같은 세밀한 원자 수준의 시선 커뮤니케이션 패턴을 효과적으로 모델링할 수 있는가?
• RQ2 정적 시각적 특징을 초월해 동적인 시선 상호작용을 포착하는 데 시공간 그래프 구조가 어떤 역할을 하는가?
• RQ3 공동 주의와 시선 따라가기와 같은 장기적 고수준의 시선 커뮤니케이션 이벤트를 원자 행동의 시간적 조합으로 어떻게 모델링할 수 있는가?
• RQ4 정답 원자 수준 레이블을 통합할 경우, 이벤트 수준의 시선 커뮤니케이션 예측 성능에 얼마나 기여하는가?
• RQ5 모델의 성능에 가장 기여하는 핵심 구성 요소는 무엇이며, 이들이 추론 과정에서 어떻게 상호작용하는가?

주요 결과

• 제안된 모델은 원자 수준의 시선 커뮤니케이션 분류 작업에서 평균 상위-1 정확도 55.02%를 달성하여 여러 강력한 베이스라인을 능가한다.
• 정답 원자 수준 레이블을 사용할 경우, 이벤트 수준 모델은 상위-1 정확도 55.9%에 도달하여 계층적 모델링 접근의 효과성을 입증한다.
• 분석 실험 결과, ResNet50 기반 192-d 노드 특징가 최고의 성능을 보였으며, 메시지 전파 반복 횟수는 최적의 점까지 정확도를 향상시키지만 이후에 저하됨을 확인했다.
• AdjMat-only 베이스라인은 합리적인 성능를 보였지만 전체 모델보다 유의미하게 열등하여 기하학적 관계만으로는 맥락 기반 장면 이해 없이선 충분하지 않음을 시사한다.
• 명시적인 시간적 추론(LSTM)을 통한 모델이 인접 행렬을 암묵적으로 학습하는 버전보다 성능이 뛰어나, 구조화된 시간적 모델링의 이점을 입증한다.
• 정성적 결과에서는 모델이 공간-시간 추론을 통해 다양한 시선 유형을 정확히 식별하는 것으로 나타났지만, 미세하거나 급격히 변화하는 시선 동역학과 가림된 눈으로 인한 실패 케이스도 존재한다.