[논문 리뷰] Future Person Localization in First-Person Videos

Takuma Yagi, Karttikeya Mangalam외 2명|arXiv (Cornell University)|2017. 11. 30.

Video Surveillance and Tracking Methods참고 문헌 33인용 수 5

한 줄 요약

이 논문은 첫 번째 시점 영상에서 향후 사람 위치를 국지화하는 것을 제안하며, 자가 운동, 척도 신호 및 사람 자세를 활용하여 향후 위치를 예측하는 다중 스트림 컨볼루션-디컨볼루션 네트워크를 제안한다. 이 방법은 새로운 첫 번째 시점 이동성(FPL) 데이터셋과 공개된 사회적 상호작용 데이터셋에서 최신 기술(SOTA) 성능을 달성하여 이전의 Social LSTM과 비교해 궤적 예측 정확도에서 뛰어난 성능을 보였다.

ABSTRACT

We present a new task that predicts future locations of people observed in first-person videos. Consider a first-person video stream continuously recorded by a wearable camera. Given a short clip of a person that is extracted from the complete stream, we aim to predict that person's location in future frames. To facilitate this future person localization ability, we make the following three key observations: a) First-person videos typically involve significant ego-motion which greatly affects the location of the target person in future frames; b) Scales of the target person act as a salient cue to estimate a perspective effect in first-person videos; c) First-person videos often capture people up-close, making it easier to leverage target poses (e.g., where they look) for predicting their future locations. We incorporate these three observations into a prediction framework with a multi-stream convolution-deconvolution architecture. Experimental results reveal our method to be effective on our new dataset as well as on a public social interaction dataset.

연구 동기 및 목표

• 충돌 회피가 중요한 복잡한 환경에서 첫 번째 시점 영상 스트림에서 사람의 향후 위치를 예측하는 데 도전하는 것.
• 자기 운동, 시점 척도, 인간 자세와 같은 동적 시각적 신호를 효과적으로 모델링하여 향후 국지화 성능을 향상시키는 방법을 개발하는 것.
• 첫 번째 시점 궤적 예측 분야 연구를 지원하기 위해 새로운 벤치마크 데이터셋인 First-Person Locomotion(FPL)을 구축하는 것.
• 시각 장애를 가진 사용자에게 실시간 내비게이션 가이던스를 제공함으로써 보조 기술을 가능하게 하는 것.

제안 방법

• 자기 운동, 척도 및 자세 특징를 영상 프레임에서 추출한 후, 시간적 동역학을 인코딩하기 위해 다중 스트림 컨볼루션-디컨볼루션 아키텍처를 사용한다.
• 자기 운동은 광학 흐름을 통해 촬영자 움직임을 모델링하며, 이는 장면 내 사람들의 보기에 나타나는 운동에 크게 영향을 미친다.
• 좌우 엉덩이 간 거리의 정규화된 거리에서 유도된 척도 신호는 시점 효과와 깊이 변화를 추정하는 데 사용된다.
• 자세 정보는 힙, 어깨 등의 관건점 위치에서 추출되어 이동 방향과 향후 궤적을 추론하는 데 활용된다.
• 네트워크는 1초 간의 특징 기록(10fps에서 10프레임)을 처리하고, 1초 간의 예측 기간 동안 대상 사람의 향후 위치를 예측한다.
• 공간적 및 시간적 일관성을 확보하기 위해 적절한 커널 크기와 디컨볼루션 레이어를 사용하여 향후 바운딩 박스 위치를 재구성한다.

실험 결과

연구 질문

• RQ1 첫 번째 시점 영상에서 자기 운동을 효과적으로 활용하여 향후 사람 국지화 정확도를 향상시킬 수 있는가?
• RQ2 척도 변화와 시점 효과는 첫 번째 시점 시각에서 향후 인간 위치 예측에 어떤 영향을 미치는가?
• RQ3 예를 들어 시선 방향 또는 신체 방향과 같은 자세 정보는 첫 번째 시점 영상 시퀀스에서 향후 궤적 예측에 어느 정도 향상되는가?
• RQ4 단일 첫 번째 시점 카메라로도 정확한 향후 사람 국지화가 가능한가, 아니면 다중 카메라 동기화가 필요한가?
• RQ5 다양한 환경에서 일반화성과 강건성 측면에서 기존 최신 기술 모델인 Social LSTM과 비교해 본다면, 제안된 방법은 어떤가?

주요 결과

• 제안된 방법은 FPL 데이터셋에서 최종 이격 오차(FDE) 124.85를 기록하여, 향후 2초 예측에서 Social LSTM의 FDE 223.16을 크게 뛰어넘었다.
• Social Interaction Dataset에서 입력 특징(X_in + E_in + P_in)을 조합했을 경우 FDE는 125.42로 감소하였고, 이는 Social LSTM의 299.81에 비해 유의미하게 낮았다.
• 제거 실험 결과, 자기 운동(E_in) 및 자세(P_in) 특징를 통합함으로써 단순 외관 또는 운동 신호만을 사용하는 경우보다 일관된 성능 향상이 이루어졌다.
• 정성적 결과를 통해 다양한 환경, 즉 실내 및 실외 환경 모두에서 모델이 강건함을 입증하였다.
• 더 긴 입력 시퀀스(T_prev = 10)는 짧은 시퀀스(T_prev = 6)보다 성능 향상을 보였으며, 이는 시간적 맥락이 예측 안정성 향상에 기여함을 시사한다.
• 복잡한 자기 운동 시나리오, 예를 들어 촬영자가 보행자를 피하기 위해 방향을 틀 때에도 기준 모델을 능가하는 성능를 보였지만, 매우 동적인 상황에서는 약간의 성능 저하가 발생하였다.