[논문 리뷰] Social Behavior Prediction from First Person Videos

Shan Su, Jung Pyo Hong외 2명|arXiv (Cornell University)|2016. 11. 29.

Human Pose and Action Recognition참고 문헌 41인용 수 8

한 줄 요약

이 논문은 3D 재구성을 활용해 사회적 구성의 자동 주석을 부여함으로써 제1인칭 영상 기반으로 농구 선수의 향후 궤적과 시선 방향을 예측하는 방법을 제안한다. 시마이즈 네트워크를 사용해 제1인칭 시각적 의미를 학습하고, 사회적 적합도를 기반으로 타당한 궤적을 검색하며, 공동 주의를 통해 시선 일치를 최대화한다. 5초 후 5m 위치 오차 및 30도 시선 오차로 제3인칭 기반 방법을 능가한다.

ABSTRACT

This paper presents a method to predict the future movements (location and gaze direction) of basketball players as a whole from their first person videos. The predicted behaviors reflect an individual physical space that affords to take the next actions while conforming to social behaviors by engaging to joint attention. Our key innovation is to use the 3D reconstruction of multiple first person cameras to automatically annotate each other's the visual semantics of social configurations. We leverage two learning signals uniquely embedded in first person videos. Individually, a first person video records the visual semantics of a spatial and social layout around a person that allows associating with past similar situations. Collectively, first person videos follow joint attention that can link the individuals to a group. We learn the egocentric visual semantics of group movements using a Siamese neural network to retrieve future trajectories. We consolidate the retrieved trajectories from all players by maximizing a measure of social compatibility---the gaze alignment towards joint attention predicted by their social formation, where the dynamics of joint attention is learned by a long-term recurrent convolutional network. This allows us to characterize which social configuration is more plausible and predict future group trajectories.

연구 동기 및 목표

• 제1인칭 영상 자료에서 농구 선수의 장기적 사회적 행동—특히 향후 위치와 시선 방향—을 예측하는 것.
• 제3인칭 컴퓨터 비전 시스템이 포착하기 어려운 미세하고 상황에 따라 달라지는 사회적 신호를 모델링하는 데 도전하는 것.
• 제1인칭 영상에서 유일하게 제공하는 시각적 신호인 개인의 제1인칭 맥락과 집단적 공동 주의 역학을 활용하는 것.
• 3D 재구성된 제1인칭 데이터를 활용해 시각적 사회 신호에 대한 확장 가능한 대규모 학습 프레임워크를 개발하는 것.
• 스포츠 분석, 사회적 로봇, 가상/증강 현실 분야의 애플리케이션을 가능하게 하기 위해 계산 기반의 사회적 행동 모델링을 제공하는 것.

제안 방법

• 다수의 제1인칭 영상에 대한 3D 재구성을 사용해 사회적 구성의 시각적 의미를 자동으로 주석 처리하며, 다른 선수의 위치, 방향, 속도를 0.5 픽셀 이내의 정확도로 재투영 오차를 확보한다.
• 시공간적 구성과 사회적 맥락을 인코딩하는 제1인칭 시각 표현을 학습하기 위해 시마이즈 신경망을 활용하여 유사한 과거 상황을 검색하고 궤적 예측에 활용한다.
• 공동 주의 향한 시선 일치를 기반으로 사회적 적합도 점수를 최대화함으로써 가장 타당한 집단 궤적 집합을 선택하기 위해 일반화된 다이크스트라 알고리즘을 적용한다.
• 공동 주의의 동적 특성을 사회적 구성 특징(선수의 위치 및 속도)을 사용해 모델링하기 위해 장기적 순환 컨volution 네트워크(LRCN)를 활용한다.
• 결정적 흔들림과 블러를 줄이기 위해 제1인칭 영상 입력을 ц린드리컬 투영으로 안정화시켜 원시 제1인칭 시각에서의 시각적 특징 학습을 향상시킨다.
• 3D 정렬을 통해 여러 선수의 제1인칭 시각을 통합함으로써 볼 수 있는 영역을 확장하고 개인의 시각을 초월한 맥락의 풍부함을 향상시킨다.

실험 결과

연구 질문

• RQ1 복잡한 사회적 상호작용에서 향후 궤적과 시선 방향과 같은 장기적 집단 행동을 예측하는 데 제1인칭 영상 데이터가 효과적으로 활용될 수 있는가?
• RQ2 유사한 사회적 및 공간적 구성 구조를 인식하기 위해 제1인칭 시각적 의미를 어떻게 학습할 수 있는가?
• RQ3 공동 주의는 선수 간 사회적 적합도 모델링에서 어떤 역할을 하는가? 그리고 이를 정량적으로 측정하여 타당한 집단 궤적을 선택할 수 있는가?
• RQ4 제1인칭 카메라에서의 시각적 신호가 제3인칭 시각에 비해 사회적으로 일관된 행동을 예측하는 데 얼마나 뛰어나게 기여하는가?
• RQ5 공동 주의에 기반한 시선 방향 예측이 미래 행동 및 장면 환영의 현실감과 정확도를 향상시키는 데 기여하는가?

주요 결과

• 제안된 방법은 5초 후 5m의 위치 예측 오차와 30도의 시선 방향 오차를 기록하며, 제3인칭 기반 기준보다 뚜렷이 뛰어나다.
• 사회적 적합도와 공동 주의 모델링을 통합함으로써 Vanilla LSTM 및 Social LSTM보다 뛰어난 성능을 보이며, 특히 시선 방향 예측에서 두드러진다.
• 선수의 포지션은 예측 정확도에 영향을 미친다: 셰딩 가드는 코트 전역에서 더 복잡하고 다양한 상호작용을 하므로 센터보다 더 예측하기 어렵다.
• 운동학적 데이터 없이도 시각적 특징만으로는 성능이 열악하여, 강건한 예측을 위해서는 사회적 및 공간적 맥락이 필수적임을 시사한다.
• 사회적 구성에 기반한 유사 과거 시퀀스 검색은 질적 비교를 통해 설명 가능한 예측 추론을 지원한다.
• K개의 최상의 궤적 해를 기반으로 미래 이미지 환영을 수행할 경우 배경의 구조가 일치하고 사회적 구성이 점차 시간이 지남에 따라 열화되는 결과를 도출한다.