[論文レビュー] RGB-D-based Human Motion Recognition with Deep Learning: A Survey

Pichao Wang, Wanqing Li+3 more|arXiv (Cornell University)|Oct 31, 2017

Human Pose and Action Recognition参考文献 154被引用数 33

ひとこと要約

本サーベイは、RGB-Dに基づく人体運動認識に用いられるディープラーニング手法について包括的なレビューを提供し、モダリティ（RGB、深度、スケルトン、RGB+D）別に分類し、空間的・時間的・構造的符号化技術を分析している。主な課題と今後の方向性として、ゼロショット学習、オクルージョンに強い性能、GANを用いた教師なし学習、オンライン行動予測が挙げられている。

ABSTRACT

Human motion recognition is one of the most important branches of human-centered research activities. In recent years, motion recognition based on RGB-D data has attracted much attention. Along with the development in artificial intelligence, deep learning techniques have gained remarkable success in computer vision. In particular, convolutional neural networks (CNN) have achieved great success for image-based tasks, and recurrent neural networks (RNN) are renowned for sequence-based problems. Specifically, deep learning methods based on the CNN and RNN architectures have been adopted for motion recognition using RGB-D data. In this paper, a detailed overview of recent advances in RGB-D-based motion recognition is presented. The reviewed methods are broadly categorized into four groups, depending on the modality adopted for recognition: RGB-based, depth-based, skeleton-based and RGB+D-based. As a survey focused on the application of deep learning to RGB-D-based motion recognition, we explicitly discuss the advantages and limitations of existing techniques. Particularly, we highlighted the methods of encoding spatial-temporal-structural information inherent in video sequence, and discuss potential directions for future research.

研究の動機と目的

• RGB-Dに基づく人体運動認識に応用されたディープラーニング技術について、体系的なレビューを提供すること。
• 入力モダリティ（RGB、深度、スケルトン、マルチモーダルなRGB+D）に応じて、既存の手法を分類すること。
• 動画シーケンス内の空間的・時間的・構造的情報が、ディープラーニングモデルによってどのように符号化され、活用されているかを分析すること。
• 一般化性、オクルージョン、データ効率性の点で顕在化する現在のアプローチの制限を特定すること。
• ゼロショット学習、GANを用いた教師なし学習、オンライン行動認識といった、新たな研究方向性を提示すること。

提案手法

• 入力モダリティに基づき、RGBベース、深度ベース、スケルトンベース、RGB+Dベースの4つのカテゴリにRGB-D運動認識手法を分類する。
• 2D/3D CNNやRNN（LSTMを含む）といったディープラーニングアーキテクチャが、特徴抽出およびシーケンスモデリングにどのように用いられているかをレビューする。
• 動きのダイナミクス、ボディポーズ、時間的依存性を捉えるための空間的・時間的・構造的符号化戦略を分析する。
• 限定的なデータセット上でパフォーマンスを向上させるために、事前学習モデルとトランスファーラーニングの活用を評価する。
• 早期統合または後期統合技術を通じて、マルチモーダルデータ（RGB、深度、スケルトン）の統合を検討する。
• 自己教師あり学習や生成モデル（GANを含む）の最近の進展を検討し、動画からの教師なし表現学習に応用する。

実験結果

リサーチクエスチョン

• RQ1 RGB、深度、スケルトン、RGB+Dといった異なるモダリティは、人体運動認識におけるディープラーニングモデルのパフォーマンスにどのように寄与しているか？
• RQ2 RGB-D動画シーケンス内の空間的・時間的・構造的情報を符号化するための、最も効果的なディープラーニングアーキテクチャは何か？
• RQ3 実世界のシナリオ（例：オクルージョン、照明の変化）において、現在のRGB-D運動認識手法の主な制限は何であるか？
• RQ4 教師ありデータが限られる状況で、教師なしまたは少データ学習技術が一般化性能をどのように向上させうるか？
• RQ5 ディープラーニングを用いたオンライン運動認識および行動予測において、最も有望な研究方向性は何か？

主な発見

• RGB-Dデータは、照明変化に対して頑健で、豊富な3次元構造的情報を提供するため、運動認識において非常に効果的である。
• 3D CNNとRNN（特にLSTM）は、空間的・時間的特徴を捉えるために広く用いられており、3D CNNは行動認識タスクにおいて優れたパフォーマンスを示している。
• スケルトンベースの手法は次元削減と解釈可能性の向上に寄与し、特にアテンションメカニズムと組み合わせると効果的である。
• マルチモーダル統合（RGB+D）は、単一モダリティのアプローチを上回る性能を示し、特に複雑な状況下で顕著である。
• 進展は見られるが、オクルージョン、ドメインシフト、データ不足の対処は依然として課題であり、特に屋外の現実世界の設定で顕著である。
• GANや自己教師あり学習といった新規技術は、教師なし表現学習や少データ一般化の分野で強く有望な兆しを示している。