[논문 리뷰] A Novice Guide towards Human Motion Analysis and Understanding

Ahmed Nabil Mohamed|arXiv (Cornell University)|2015. 09. 03.

Human Pose and Action Recognition참고 문헌 132인용 수 4

한 줄 요약

이 논문은 인간 운동 분석 및 이해 분야의 초보자 컴퓨터 비전 연구자들을 위한 종합적인 소개 가이드로 기능하며, 신경과학, 심리학, 예술 등 다양한 분야의 통찰을 통합하면서 컴퓨터 비전 접근 방식의 핵심 요소를 체계적으로 개선한다. 적용 분야, 센서 유형, 운동 분류 체계, 처리 파이프라인, 유명한 종합 검토, 알고리즘, 공개 데이터셋을 포함하여 이 분야에 입문하기 위한 체계적인 기반을 제공하며 실용적 참고 자료와 다학문적 배경을 함께 제공한다.

ABSTRACT

Human motion analysis and understanding has been, and is still, the focus of attention of many disciplines which is considered an obvious indicator of the wide and massive importance of the subject. The purpose of this article is to shed some light on this very important subject, so it can be a good insight for a novice computer vision researcher in this field by providing him/her with a wealth of knowledge about the subject covering many directions. There are two main contributions of this article. The first one investigates various aspects of some disciplines (e.g., arts, philosophy, psychology, and neuroscience) that are interested in the subject and review some of their contributions stressing on those that can be useful for computer vision researchers. Moreover, many examples are illustrated to indicate the benefits of integrating concepts and results among different disciplines. The second contribution is concerned with the subject from the computer vision aspect where we discuss the following issues. First, we explore many demanding and promising applications to reveal the wide and massive importance of the field. Second, we list various types of sensors that may be used for acquiring various data. Third, we review different taxonomies used for classifying motions. Fourth, we review various processes involved in motion analysis. Fifth, we exhibit how different surveys are structured. Sixth, we examine many of the most cited and recent reviews in the field that have been published during the past two decades to reveal various approaches used for implementing different stages of the problem and refer to various algorithms and their suitability for different situations. Moreover, we provide a long list of public datasets and discuss briefly some examples of these datasets. Finally, we provide a general discussion of the subject from the aspect of computer vision.

연구 동기 및 목표

• 초보자 컴퓨터 비전 연구자들이 인간 운동 분석 및 이해의 복잡한 분야에 체계적인 입문점을 제공하기 위해.
• 신경과학, 심리학, 철학, 그리고 예술과 같은 분야의 다학문 지식을 융합하여 컴퓨터 비전 연구에 풍부한 통찰을 제공하기 위해.
• 자료 확보, 분류, 처리 파이프라인, 알고리즘적 접근 방식을 포함한 운동 분석의 핵심 구성 요소를 체계화하기 위해.
• 연구의 재현성과 벤치마킹을 지원하기 위해 주요 공개 데이터셋과 유명한 종합 검토를 정리하고 검토하기 위해.
• 최근 및 높은 영향력을 가진 종합 검토의 비판적 개요를 제공하여 운동 분석에서의 방법론적 선택을 안내하기 위해.

제안 방법

• 신경과학, 심리학, 그리고 예술 분야의 기초 개념을 통합하여 인간 운동의 계산 모델링에 기여하기 위해.
• 운동 데이터 확보에 사용되는 다양한 센서 모odal(예: RGB, 깊이, IMU)을 조사하고 분류하기 위해.
• 행동 카테고리와 운동 프리미티브와 같은 인간 운동을 분류하기 위한 기존의 분류 체계를 검토하기 위해.
• 감지, 추적, 표현, 인식 단계를 포함한 표준 운동 분석 파이프라인을 개략적으로 제시하기 위해.
• 최근 20년간의 주요 종합 논문의 구조와 내용을 분석하여 추세와 방법론적 패턴을 식별하기 위해.
• 연구 목적을 위해 공개된 운동 데이터셋의 포괄적인 목록을 정리하고 간략히 특성화하기 위해.

실험 결과

연구 질문

• RQ1 신경과학과 심리학과 같은 컴퓨터 비전 외 분야의 통찰은 어떻게 컴퓨터 비전 분야의 인간 운동 분석을 향상시킬 수 있는가?
• RQ2 인간 운동을 캡처하고 분석하기 위해 가장 효과적인 센서 유형과 데이터 모달은 무엇인가?
• RQ3 컴퓨터 프레임워크에서 인간 운동은 일반적으로 어떻게 분류되고 표현되는가?
• RQ4 컴퓨터 비전에서 운동 분석 파이프라인의 표준 단계와 구성 요소는 무엇인가?
• RQ5 운동 이해의 발전에 가장 영향력 있었던 알고리즘적 접근 방식과 종합 검토의 구조는 무엇인가?

주요 결과

• 특히 신경과학과 심리학 분야의 다학문 지식 통합은 컴퓨터 비전에서 운동 모델링을 향상시키기 위한 유용한 사전 지식과 개념적 프레임워크를 제공한다.
• 응용 맥락과 필요로 하는 정확도에 따라 RGB 카메라, 깊이 센서, 관성 측정 장치(IMU) 등 다양한 센서가 사용된다.
• 운동 분류는 일반적으로 거시적 행동 카테고리에서 미세한 운동 프리미티브에 이르기까지 계층적인 분류 체계에 기반한다.
• 표준 운동 분석 파이프라인은 감지, 추적, 특징 추출, 표현, 인식 단계를 포함하며, 각 단계에서 다양한 알고리즘 선택지가 존재한다.
• 연구 재현성과 벤치마킹을 가능하게 하기 위해 공개된 데이터셋의 정리된 목록이 제공된다.
• 최근 및 높은 영향력을 가진 종합 검토는 특히 행동 인식 분야에서 분류 모델과 계층적 특징 학습의 사용과 같은 반복적인 방법론적 패턴을 드러낸다.