[論文レビュー] A Novice Guide towards Human Motion Analysis and Understanding

Ahmed Nabil Mohamed|arXiv (Cornell University)|Sep 3, 2015

Human Pose and Action Recognition参考文献 132被引用数 4

ひとこと要約

本論文は、初心者のコンピュータビジョン研究者を対象に、人間の運動分析と理解の分野における包括的で導入的なガイドを提供する。神経科学、心理学、芸術学などの多様な分野からの知見を統合し、コンピュータビジョンの手法の主要な側面を体系的に概説している。応用分野、センサータイプ、運動の分類体系、処理パイプライン、代表的なサーベイ、アルゴリズム、公開データセットをカバーし、実用的な参考文献と多分野的文脈を提供することで、分野への入り口としての構造的基盤を提供する。

ABSTRACT

Human motion analysis and understanding has been, and is still, the focus of attention of many disciplines which is considered an obvious indicator of the wide and massive importance of the subject. The purpose of this article is to shed some light on this very important subject, so it can be a good insight for a novice computer vision researcher in this field by providing him/her with a wealth of knowledge about the subject covering many directions. There are two main contributions of this article. The first one investigates various aspects of some disciplines (e.g., arts, philosophy, psychology, and neuroscience) that are interested in the subject and review some of their contributions stressing on those that can be useful for computer vision researchers. Moreover, many examples are illustrated to indicate the benefits of integrating concepts and results among different disciplines. The second contribution is concerned with the subject from the computer vision aspect where we discuss the following issues. First, we explore many demanding and promising applications to reveal the wide and massive importance of the field. Second, we list various types of sensors that may be used for acquiring various data. Third, we review different taxonomies used for classifying motions. Fourth, we review various processes involved in motion analysis. Fifth, we exhibit how different surveys are structured. Sixth, we examine many of the most cited and recent reviews in the field that have been published during the past two decades to reveal various approaches used for implementing different stages of the problem and refer to various algorithms and their suitability for different situations. Moreover, we provide a long list of public datasets and discuss briefly some examples of these datasets. Finally, we provide a general discussion of the subject from the aspect of computer vision.

研究の動機と目的

• 初心者のコンピュータビジョン研究者にとって、人間の運動分析と理解という複雑な分野への体系的かつ構造的な入り口を提供すること。
• 神経科学、心理学、哲学、芸術学などの分野からの知見を統合し、コンピュータビジョン研究を豊かにすること。
• データ収集、分類、処理パイプライン、アルゴリズム的手法といった運動分析の核となる要素を体系化すること。
• 研究の再現性とベンチマークの支援を目的として、主要な公開データセットと代表的なサーベイを収集・レビューすること。
• 近年の高被引用論文や代表的なサーベイの包括的レビューを通じて、運動理解分野における手法的選択を支援する概要を提示すること。

提案手法

• 神経科学、心理学、芸術学の基礎的コンセプトを統合し、人間の運動の計算モデル構築に活用すること。
• 運動データ収集に用いられるさまざまなセンサーモダリティ（例：RGB、深度、IMU）を調査・分類すること。
• 行動カテゴリーや運動プリミティブといった、人間の運動を分類するための既存の分類体系をレビューすること。
• 検出、トラッキング、表現、認識の段階を含む、標準的な運動分析パイプラインを概説すること。
• 過去20年間の主要なレビュー論文の構造と内容を分析し、トレンドや手法的パターンを同定すること。
• 研究利用を目的とした、公開可能な運動データセットの包括的リストを収集・簡単な特徴記述を加えること。

実験結果

リサーチクエスチョン

• RQ1 神経科学や心理学といったコンピュータビジョンとは異なる分野からの知見は、どのようにコンピュータビジョン分野における人間の運動分析を向上させることができるか？
• RQ2 人間の運動を捕らえ、分析する際に、最も効果的なセンサータイプとデータモダリティは何か？
• RQ3 計算フレームワークにおいて、人間の運動は一般的にどのように分類され、表現されるか？
• RQ4 コンピュータビジョンにおける運動分析パイプラインの標準的な段階と構成要素は何か？
• RQ5 運動理解の進展に最も影響を与えたアルゴリズム的手法とサーベイの構造は何か？

主な発見

• 神経科学や心理学からの多分野的知見の統合は、特に運動モデリングにおける価値ある事前知識や概念的枠組みを提供し、コンピュータビジョン分野における運動分析の質を向上させる。
• 応用状況や必要な精度に応じて、RGBカメラ、深度センサ、慣性計測単位（IMU）など、多様なセンサが使用されている。
• 運動分類は一般的に階層的分類体系に基づいており、粗い行動カテゴリから細分化された運動プリミティブまで多様なレベルが存在する。
• 標準的な運動分析パイプラインには、検出、トラッキング、特徴抽出、表現、認識の段階が含まれており、それぞれに多数のアルゴリズム的選択肢がある。
• 再現性とベンチマークのための公開データセットのキュレート済みリストが提供されており、さまざまな運動分析タスクにおいて利用可能である。
• 近年の高被引用レビュー論文は、特に行動認識分野において、判別モデルの使用や階層的特徴学習といった繰り返し現れる手法的パターンを示している。