[논문 리뷰] EgoTransfer: Transferring Motion Across Egocentric and Exocentric Domains using Deep Neural Networks

Shervin Ardeshir, Krishna Regmi외 1명|arXiv (Cornell University)|2016. 12. 17.

Human Pose and Action Recognition참고 문헌 19인용 수 6

한 줄 요약

이 논문은 선형 및 비선형 모델을 사용하여 일인칭(에고세트릭) 및 삼인칭(에кс오세트릭) 영상 시야 간에 운동 특징을 전이하는 딥 러닝 프레임워크인 EgoTransfer를 제안한다. 운동 정보가 시야 간에 효과적으로 전이될 수 있음을 입증하였으며, 비선형 매핑이 상위 시야 전이에서 선형 모델보다 뛰어나고, 두 스트림 네트워크가 측면 시야 전이에서 특히 C3D 특징을 사용할 경우 뛰어난 성능을 보였다.

ABSTRACT

Mirror neurons have been observed in the primary motor cortex of primate species, in particular in humans and monkeys. A mirror neuron fires when a person performs a certain action, and also when he observes the same action being performed by another person. A crucial step towards building fully autonomous intelligent systems with human-like learning abilities is the capability in modeling the mirror neuron. On one hand, the abundance of egocentric cameras in the past few years has offered the opportunity to study a lot of vision problems from the first-person perspective. A great deal of interesting research has been done during the past few years, trying to explore various computer vision tasks from the perspective of the self. On the other hand, videos recorded by traditional static cameras, capture humans performing different actions from an exocentric third-person perspective. In this work, we take the first step towards relating motion information across these two perspectives. We train models that predict motion in an egocentric view, by observing it from an exocentric view, and vice versa. This allows models to predict how an egocentric motion would look like from outside. To do so, we train linear and nonlinear models and evaluate their performance in terms of retrieving the egocentric (exocentric) motion features, while having access to an exocentric (egocentric) motion feature. Our experimental results demonstrate that motion information can be successfully transferred across the two views.

연구 동기 및 목표

• 일인칭 및 삼인칭 운동 표현 간의 매핑을 학습하여 거울 뉴런 유사 행동을 모델링하기 위해.
• 다양한 데이터 가용성의 불균형을 해결하기 위해 풍부한 삼인칭 데이터셋을 활용하여 일인칭 영상 이해를 향상시키기 위해.
• 삼인칭 시야에서 관찰할 때 행동이 일인칭 시야에서 어떻게 보일지 인지할 수 있도록 지능형 시스템을 가능하게 하기 위해.
• 선형 및 비선형 모델이 다양한 카메라 시점 간에 운동 특징을 전이하는 데 효과적인지 평가하기 위해.
• 특징 유형(HOOF 대 C3D)과 시점 기하학(상단 시점 대 측면 시점)이 전이 성능에 미치는 영향을 탐구하기 위해.

제안 방법

• 신체에 장착된 카메라와 정적 카메라를 사용하여 동기화된 일인칭 및 삼인칭 영상 쌍을 수집한다.
• 양쪽 시점의 16프레임 클립에서 C3D 및 HOOF 네트워크를 사용하여 운동 특징을 추출한다.
• 일인칭 및 삼인칭 특징 공간 간의 변환을 학습하기 위해 선형 및 비선형 매핑 모델을 훈련시킨다.
• l2 정규화 선형 회귀와 비선형 다층 퍼셉트론(MLP)을 사용하여 특징 변환을 수행한다.
• 교차 시야 검색 성능 향상을 위해 공동 표현을 학습하기 위해 두 스트림 분류 네트워크를 활용한다.
• 검색 순위 평가를 통해 모델을 평가한다: 한 시점의 특징이 주어졌을 때 다른 시점에서의 정확한 매칭을 검색한다.

실험 결과

연구 질문

• RQ1 삼인칭(제3인칭) 시점에서 일인칭(제1인칭) 시점으로, 또는 그 반대로 운동 특징을 효과적으로 전이할 수 있는가?
• RQ2 비선형 딥 뉴럴 네트워크가 일인칭 및 삼인칭 도메인 간에 운동 특징을 전이하는 데 선형 모델보다 뛰어난가?
• RQ3 카메라 시점 선택(상단 시점 대 측면 시점)이 운동 특징 전이 성능에 어떤 영향을 미치는가?
• RQ4 운동 특징 유형(C3D 대 HOOF)이 교차 시야 전이 성공에 영향을 미치는가?
• RQ5 두 스트림 네트워크 아키텍처가 표준 선형 및 비선형 모델에 비해 검색 정확도를 향상시키는가?

주요 결과

• 재구성 목표를 가진 비선형 매핑이 일인칭에서 상단 시점으로의 전이에서 가장 높은 성능을 기록하였으며, 선형 모델을 능가하였다.
• 일인칭에서 측면 시점으로의 전이에서는 두 스트림 분류 네트워크가 가장 높은 검색 정확도(83.76%)를 기록하여, 모든 다른 방법보다 뚜렷하게 뛰어났다.
• 상단 시점 전이에서는 비선형 모델이 상단에서 일인칭으로의 매핑에서 최상위 1 정확도 83.92%를 달성했고, 선형 모델은 73.11%에 머물렀다.
• l2 정규화를 적용한 선형 회귀는 모든 설정에서 무작위 및 균일 기준보다 뚜렷하게 뛰어난 성능을 보였다.
• C3D 특징은 선형 모델에서 더 나은 성능을 제공하여, 선형 변환에 대해 이미 잘 최적화되어 있음을 시사한다.
• 두 스트림 네트워크는 측면 시점 전이에서 선형 및 비선형 모델을 모두 뚜렷하게 능가하여, 복잡하고 시각적으로 유사한 시점에 적합함을 보여주었다.