[논문 리뷰] An Overview of First Person Vision and Egocentric Video Analysis for Personal Mobile Wearable Devices

Alejandro Betancourt, Pietro Morerio외 2명|arXiv (Cornell University)|2014. 09. 04.

Video Surveillance and Tracking Methods인용 수 3

한 줄 요약

이 논문은 1997년에서 2014년 사이의 1인칭 시각 및 엣소세트릭 비디오 분석에 대한 종합적인 서베이를 제공하며, 실시간 응용을 위한 웨어러블 기기 영상 처리의 핵심 기능, 방법 및 과제를 검토한다. 객체 검출, 활동 인식, 사용자-기계 상호작용 분야에서의 발전을 통합하여, 이 분야의 진화하는 기법과 향후 연구 기회를 강조한다.

ABSTRACT

The emergence of new wearable technologies such as action cameras and smart-glasses has increased the interest of computer vision scientists in the First Person perspective. Nowadays, this field is attracting attention and investments of companies aiming to develop commercial devices with First Person Vision recording capabilities. Due to this interest, an increasing demand of methods to process these videos, possibly in real-time, is expected. Current approaches present a particular combinations of different image features and quantitative methods to accomplish specific objectives like object detection, activity recognition, user machine interaction and so on. This paper summarizes the evolution of the state of the art in First Person Vision video analysis between 1997 and 2014, highlighting, among others, most commonly used features, methods, challenges and opportunities within the field.

연구 동기 및 목표

• 1997년에서 2014년 사이의 1인칭 시각 및 엣소세트릭 비디오 분석의 진화를 맵핑하기 위해.
• 1인칭 비디오 처리에서 흔히 사용되는 이미지 기능과 정량적 방법을 특정하기 위해.
• 웨어러블 기기 영상의 실시간 분석에서 발생하는 과제와 기회를 분석하기 위해.
• 객체 검출, 활동 인식, 사용자-기계 상호작용 등의 응용 분야에서의 진전을 요약하기 위해.
• 이 분야의 최신 기법들을 통합하여 향후 연구의 기초를 마련하기 위해.

제안 방법

• 1997년에서 2014년 사이의 1인칭 시각에 관한 학술 문헌과 기술 보고서에 대한 체계적 서베이.
• 객체 검출, 활동 인식, 사용자 상호작용 등 응용 분야에 따라 방법을 분류하기 위해.
• 엣소세트릭 비디오 처리에서 자주 사용되는 시각적 기능인 SIFT, HOG, 딥 러닝 기반 임bedding 분석하기 위해.
• 시간적 모델링을 위한 정량적 접근 방식인 조건부 무작위 필드와 은닉 마르코프 모델 분석하기 위해.
• 웨어러블 시스템에서 실시간 처리 제약 조건과 하드웨어 제약 분석하기 위해.
• 방법론적 및 응용 기반 패턴을 바탕으로 추세, 격차 및 향후 연구 방향 통합하기 위해.

실험 결과

연구 질문

• RQ1 1997년에서 2014년 사이의 1인칭 비디오 분석에서 지배적인 시각적 기능과 방법은 무엇인가?
• RQ2 웨어러블 기기를 사용하여 엣소세트릭 비디오를 실시간으로 처리할 때 주요 과제는 무엇인가?
• RQ3 객체 검출, 활동 인식, 사용자-기계 상호작용 등의 작업을 지원하기 위해 방법은 어떻게 진화해왔는가?
• RQ4 이 기간 동안의 최신 기술 수준을 바탕으로 1인칭 시각 분야에서 향후 연구 기회로 존재하는가?
• RQ5 정확도, 확장성, 모바일 웨어러블 플랫폼에의 구현 측면에서 현재 접근 방식의 주요 제약은 무엇인가?

주요 결과

• 1997년에서 2014년 사이에 웨어러블 카메라와 스마트글래스의 발전으로 1인칭 시각 연구는 급격한 성장을 보였다.
• SIFT와 HOG는 엣소세트릭 비디오에서 객체 검출 및 행동 인식에 가장 흔히 사용된 시각적 기능으로 남아 있었다.
• 은닉 마르코프 모델과 조건부 무작위 필드와 같은 시간적 모델링 기법이 활동 시퀀스 모델링에 널리 적용되었다.
• 모바일 및 웨어러블 기기의 계산 제약으로 인해 실시간 처리가 여전히 주요 과제로 남아 있었다.
• 이 분야는 엣소세트릭 비디오 데이터를 활용한 사용자-기계 상호작용 및 맥락 인식 응용에 대한 관심이 점점 증가하고 있었다.
• 진전에도 불구하고 실생활 조건(예: 운동 블러, 일정하지 않은 조도)에서의 확장성과 강건성은 여전히 주요 제약으로 남아 있었다.