[논문 리뷰] Identifying First-person Camera Wearers in Third-person Videos

Chenyou Fan, Jangwon Lee외 5명|arXiv (Cornell University)|2017. 04. 20.

Human Pose and Action Recognition참고 문헌 18인용 수 5

한 줄 요약

이 논문은 공간적 및 운동적 특징을 융합하는 공동 임bedding 공간을 학습하여 제3인칭 영상에서 제1인칭 카메라 착용자를 매칭하기 위해 삼중체 손실을 사용하는 준-시아모이즈 두 개의 스트림 CNN을 제안한다. 이 방법은 최신 기술 수준의 성능을 달성하며, 도전적인 벤치마크에서 69.3%의 다중 방식 분류 정확도를 기록하여, 특징과 거리 메트릭을 함께 최적화함으로써 제시된 시각적 관점 간 매칭에 있어 기존 기준들보다 뚜렷하게 뛰어나다.

ABSTRACT

We consider scenarios in which we wish to perform joint scene understanding, object tracking, activity recognition, and other tasks in environments in which multiple people are wearing body-worn cameras while a third-person static camera also captures the scene. To do this, we need to establish person-level correspondences across first- and third-person videos, which is challenging because the camera wearer is not visible from his/her own egocentric video, preventing the use of direct feature matching. In this paper, we propose a new semi-Siamese Convolutional Neural Network architecture to address this novel challenge. We formulate the problem as learning a joint embedding space for first- and third-person videos that considers both spatial- and motion-domain cues. A new triplet loss function is designed to minimize the distance between correct first- and third-person matches while maximizing the distance between incorrect ones. This end-to-end approach performs significantly better than several baselines, in part by learning the first- and third-person features optimized for matching jointly with the distance measure itself.

연구 동기 및 목표

• 제1인칭 시각에서 착용자가 보이지 않는다는 점으로 인해 복잡해지는, 제3인칭 영상에서 어떤 사람이 제1인칭 카메라를 착용하고 있는지를 식별하는 문제를 해결하기 위해.
• 다양한 사람, 동적인 환경에서 제1인칭 및 제3인칭 영상 스트림 간의 공동 장면 이해, 물체 추적, 활동 인식을 가능하게 하기 위해.
• 제1인칭 및 제3인칭 시각 간 직접적인 视覚 대응이 없기 때문에, 운동, 장면 맥락, 신체 움직임과 같은 간접적 특징을 활용하여 이를 극복하기 위해.
• 제시된 시각적 관점 간 매칭을 위한 특징 추출과 거리 메트릭 학습을 함께 최적화하는 강력하고 종단 간(end-to-end) 학습 프레임워크를 개발하기 위해.

제안 방법

• 제1인칭 및 제3인칭 영상에 대해 별도의 전문화된 특징 추출기(특징 추출 모듈)를 학습하는 준-시아모이즈 CNN 아키텍처를 제안하여 도메인 특화된 표현 학습을 가능하게 한다.
• 공간적 외관과 운동(광학 흐름) 특징을 병렬로 처리하는 두 개의 스트림 CNN 설계를 통합하여 시각적 및 동적 특징을 모두 캡처한다.
• 양성 쌍 간의 거리를 최소화하고 부정 쌍 간의 거리를 최대화함으로써, 매칭에 최적화된 메트릭 공간을 명시적으로 학습하는 새로운 삼중체 손실 함수를 적용한다.
• 특징 학습과 거리 메트릭 학습을 함께 최적화하는 종단 간 학습을 통해, 별도로 최적화하는 방법보다 더 나은 일반화 성능을 달성한다.
• 혼잡하거나 다이나믹한 장면에서 적합한 영향을 미치기 위해 제3인칭 영상에서 짧은 사람 트랙릿(최소 1 프레임)을 사용하여 잠재적 매칭을 추정한다.
• Siamese, 두 개의 스트림, 삼중체 기반 아키텍처 등의 다양한 변형을 평가하여 각 구성 요소의 성능 기여도를 분석한다.

실험 결과

연구 질문

• RQ1 시각적 겹침이 없는 상황에서도, 제1인칭 영상과 그에 해당하는 카메라 착용자를 제3인칭 영상에서 정확하게 매칭할 수 있도록 공동 임bedding 공간을 효과적으로 학습할 수 있는 딥 러닝 모델이 존재하는가?
• RQ2 공간적 및 운동적 특징은 제1인칭 및 제3인칭 영상 스트림 간의 제시된 시각적 관점 간 사람 매칭 성능에 어떻게 기여하는가?
• RQ3 각 모odal에 맞는 특징 학습이 가능한 준-시아모이즈 아키텍처가 이 작업에서 완전 공유된 시아모이즈 또는 비-시아모이즈 아키텍처보다 성능이 뛰어나게 되는가?
• RQ4 양성 쌍과 부정 쌍 간의 마진을 명시적으로 최대화하는 삼중체 손실 함수는 표준 대비 손실 함수에 비해 매칭 정확도를 얼마나 향상시키는가?
• RQ5 유사한 운동 패tern이나 가림 현상 등의 실패 케이스에서 제안된 방법의 견고성은 어떠하며, 주요 실패 원인은 무엇인가?

주요 결과

• 제안된 준-시아모이즈 두 개의 스트림 CNN과 삼중체 손실은 주요 평가 벤치마크에서 69.3%의 다중 방식 분류 정확도를 달성하여, 이어지는 최고 성능 기준(63.9%)을 크게 앞서며 최신 기술 수준의 성능을 확보했다.
• 정확도 평균은 0.621을 기록하여, 올바른 매칭을 잘못된 것보다 더 높게 순위 매기는 데 강력한 성능을 보였다.
• 제1인칭 및 제3인칭 영상에 대해 별도의 스트림 처리를 허용하는 준-시아모이즈 설계는 완전 공유된 시아모이즈 네트워크보다 더 뛰어난 성능을 보였으며, 모odal 특화된 특징 학습의 이점이 있음을 시사한다.
• 삼중체 손실은 양성 쌍과 부정 쌍 간의 마진을 명시적으로 최대화함으로써 대비 손실에 비해 매칭 성능을 향상시켰으며, 더 구분력 있는 임베딩을 생성했다.
• 다양한 웨어러블 카메라 실험에서, 이 방법은 시간적 정렬에 의존하는 기준인 HOOF(36.5%)와 플로우 크기(44.2%)를 뛰어넘어 50.0%의 다중 방식 분류 정확도를 달성했다.
• 실패 케이스는 주로 유사한 운동 패턴(예: 고개를 끄덕이는 것 vs. 앉는 것) 또는 제3인칭 시각에서 카메라 착용자가 가려지는 경우에서 발생하며, 이는 운동 기반 매칭의 과제를 드러낸다.