[論文レビュー] ETRI-Activity3D: A Large-Scale RGB-D Dataset for Robots to Recognize Daily Activities of the Elderly

Jinhyeok Jang, Dohyung Kim+4 more|arXiv (Cornell University)|Mar 4, 2020

Human Pose and Action Recognition参考文献 26被引用数 5

ひとこと要約

本稿では、100名の高齢者が実施した55種類の日常動作をロボットの視点から捉えた、112,620サンプルから成る大規模なRGB-Dデータセット、ETRI-Activity3Dを紹介する。また、入力に適応する活性化関数と空間的・時間的変動に強い、4ストリームのアダプティブ畳み込みニューラルネットワーク（FSA-CNN）を提案し、NTU RGB+DおよびETRI-Activity3Dの両データセットで優れた性能を示した。さらに、年齢層間のドメインシフトが妥当に検証された。

ABSTRACT

Deep learning, based on which many modern algorithms operate, is well known to be data-hungry. In particular, the datasets appropriate for the intended application are difficult to obtain. To cope with this situation, we introduce a new dataset called ETRI-Activity3D, focusing on the daily activities of the elderly in robot-view. The major characteristics of the new dataset are as follows: 1) practical action categories that are selected from the close observation of the daily lives of the elderly; 2) realistic data collection, which reflects the robot's working environment and service situations; and 3) a large-scale dataset that overcomes the limitations of the current 3D activity analysis benchmark datasets. The proposed dataset contains 112,620 samples including RGB videos, depth maps, and skeleton sequences. During the data acquisition, 100 subjects were asked to perform 55 daily activities. Additionally, we propose a novel network called four-stream adaptive CNN (FSA-CNN). The proposed FSA-CNN has three main properties: robustness to spatio-temporal variations, input-adaptive activation function, and extension of the conventional two-stream approach. In the experiment section, we confirmed the superiority of the proposed FSA-CNN using NTU RGB+D and ETRI-Activity3D. Further, the domain difference between both groups of age was verified experimentally. Finally, the extension of FSA-CNN to deal with the multimodal data was investigated.

研究の動機と目的

• ロボットによる高齢者の日常行動認識に特化した大規模かつ現実的であるRGB-Dデータセットの不足を解消すること。
• 空間的・時間的変動およびドメインシフトに耐性を持つ、深層学習モデルの開発。
• RGB、深度、スケルトン入力を統合できるマルチモーダル学習を効果的に行うためのモデル拡張。

提案手法

• ETRI-Activity3Dデータセットは、実際の家庭に似た環境でRGB-Dセンサを用いて収集され、100名の高齢者が実施した55種類の日常行動の合計112,620サンプルを含む。
• 空間的・時間的耐性、入力に適応する活性化関数、2ストリームフレームワークの拡張を特徴とする、新規の4ストリームアダプティブ畳み込みニューラルネットワーク（FSA-CNN）を設計した。
• FSA-CNNは、RGB、深度、スケルトンモダリティを個別ストリームで処理し、入力特徴に基づいて適応的に調整される活性化関数を統合している。
• 最終分類のためのストリーム特徴のラテントフェージョンを採用し、多様な入力分布にわたる一般化性能を向上させた。
• 性能とドメインシフト耐性の妥当性を検証するため、FSA-CNNはNTU RGB+Dおよび新規に提案されたETRI-Activity3Dデータセットの両方で訓練および評価された。
• 年齢層ごとのモデル性能を比較することで、ドメインシフトを定量的に分析し、モデルの異なる人口統計的分布への適応性を確認した。

実験結果

リサーチクエスチョン

• RQ1 大規模かつ現実的なRGB-Dデータセットは、家庭環境における高齢者の日常行動認識を向上させ得るか？
• RQ2 FSA-CNNモデルは、空間的・時間的変動を伴う複雑な人間の行動認識において、従来の2ストリームネットワークと比較してどのように性能を発揮するか？
• RQ3 入力に適応する活性化機構は、マルチモーダル行動認識におけるモデルの耐性および正確性をどの程度向上させるか？
• RQ4 特に若年層と高齢者層の間でドメインシフトが生じる場合、提案モデルは良好に一般化できるか？
• RQ5 FSA-CNNは、RGB、深度、スケルトンといったマルチモーダル入力を効果的に統合し、認識性能を向上させることができるか？

主な発見

• ETRI-Activity3Dデータセットには、100名の高齢者が実施した55種類の日常行動の112,620サンプルが含まれており、現実的なロボット視点条件下で収集された。
• FSA-CNNは、NTU RGB+DおよびETRI-Activity3Dの両データセットで最先端の性能を達成し、従来の2ストリームネットワークを上回った。
• モデルは空間的・時間的変動に対して強く、多様な行動シーケンスにおいても高い正確性を維持した。
• 若年層と高齢者層の間で顕著なドメインシフトが実験的に確認され、行動認識における年齢特化データの重要性が浮き彫りになった。
• FSA-CNNをRGB、深度、スケルトンのマルチモーダル入力へ拡張した結果、認識正確性が向上し、マルチモーダル統合の有効性が裏付けられた。
• 入力に適応する活性化関数は、特に入力モダリティの品質や分布のばらつきに対処する上で、より良い特徴学習に寄与した。