[論文レビュー] ElderSim: A Synthetic Data Generation Platform for Human Action Recognition in Eldercare Applications

Hochul Hwang, Cheongjae Jang+3 more|arXiv (Cornell University)|Oct 28, 2020

Human Pose and Action Recognition参考文献 55被引用数 9

ひとこと要約

ElderSim は、高精細な 3D キャラクターのアニメーションとカスタマイズ可能な環境設定を用いて、高齢者の日常的行動（ADL）55 項をシミュレートする合成データ生成プラットフォームである。RGB 動画と 3D スケルトン軌跡を生成することで、ElderSim は KIST SynADL データセットを生成し、深層学習モデルにおける実世界のデータセットを補完する際、行動認識性能を顕著に向上させる。

ABSTRACT

To train deep learning models for vision-based action recognition of elders' daily activities, we need large-scale activity datasets acquired under various daily living environments and conditions. However, most public datasets used in human action recognition either differ from or have limited coverage of elders' activities in many aspects, making it challenging to recognize elders' daily activities well by only utilizing existing datasets. Recently, such limitations of available datasets have actively been compensated by generating synthetic data from realistic simulation environments and using those data to train deep learning models. In this paper, based on these ideas we develop ElderSim, an action simulation platform that can generate synthetic data on elders' daily activities. For 55 kinds of frequent daily activities of the elders, ElderSim generates realistic motions of synthetic characters with various adjustable data-generating options, and provides different output modalities including RGB videos, two- and three-dimensional skeleton trajectories. We then generate KIST SynADL, a large-scale synthetic dataset of elders' activities of daily living, from ElderSim and use the data in addition to real datasets to train three state-of the-art human action recognition models. From the experiments following several newly proposed scenarios that assume different real and synthetic dataset configurations for training, we observe a noticeable performance improvement by augmenting our synthetic data. We also offer guidance with insights for the effective utilization of synthetic data to help recognize elders' daily activities.

研究の動機と目的

• 視覚ベースのシステムにおける高齢者の日常的行動（ADL）認識のための、多様で大規模な実世界データセットの不足に対処すること。
• 既存の公開データセットが若年層の被験者、制御されたラボ環境、低レベルの環境変動を特徴としていることの制限を克服すること。
• さまざまな条件下で現実的な高齢者の ADL をシミュレートできるスケーラブルでカスタマイズ可能な合成データ生成プラットフォームの開発。
• 合成データの有効性が、深層学習に基づく人間行動認識（HAR）性能を向上させるかどうかの評価。
• HAR 学習パイプラインへの合成データの効果的統合に向けた実用的ガイダンスの提供。

提案手法

• ElderSim は、高精細な 3D レンダリングおよびモデリングツールを用いて、高齢者にふさわしい身体的形状と動きを再現する現実的な屋内環境と高齢者キャラクタをシミュレートする。
• カメラの視点、照明条件、背景の変化などのパラメータを調整可能な 55 項の一般的な ADL（例：歩行、食事、座る）を生成する。
• 合成データは複数のモodal で出力される：深層学習のトレーニングに使用可能な RGB 動画シーケンスおよび 2D/3D スケルトン軌跡。
• ElderSim から生成された大規模な合成データセット、KIST SynADL を用いて、NTU RGB+D や ETRI などの実世界データセットを補完する。
• Glimpse、ST-GCN、VA-CNN の 3 つの最先端 HAR モデルを、さまざまなクロスデータセットおよびクロス条件設定において、実データと合成データの組み合わせでトレーニングする。
• クロスエイジ（若年者対高齢者被験者）、クロスビューポイント、クロスデータセットのシナリオを含む、さまざまなテストスプリットにおいて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ElderSim が生成する合成データは、高齢者の日常的行動認識における深層学習モデルの性能を顕著に向上させることができるか？
• RQ2 合成データの導入は、モデルアーキテクチャの改善に比べて認識精度にどの程度寄与するか？
• RQ3 合成データの補完が、異なるカメラの視点、照明条件、被験者年齢層の変化における一般化性能に与える影響は何か？
• RQ4 合成データは、若年者被験者データセット（例：NTU）と現実の高齢者行動データとの間のドメインギャップをどの程度埋めることができるか？
• RQ5 HAR トレーニングにおいて合成データを統合する最適な戦略は何か？性能向上を最大化するには？

主な発見

• NTU データで学習した際、ETRI データセットにおけるトップ-1 正確度が KIST SynADL の合成データを実データセットに補完することで最大 16.39% 向上した。
• Glimpse、ST-GCN、VA-CNN の複数のモデルにおいて性能向上が一貫しており、合成データの広範な有効性を示している。
• クロスエイジ評価では、高齢者被験者において 3.70%、若年者被験者において 2.90% の認識精度向上が確認され、年齢ドメインシフトに対しても頑健であることが示された。
• 一部の設定では、モデルアーキテクチャの改善を上回る性能向上が得られ、ベースラインの VA-CNN モデルに比べて 1.94% の正確度向上を達成した。
• 合成データの補完により、特にカメラの視点や照明条件が変化する状況でのモデル一般化性能が向上した。
• 本研究では、合成データが、環境的および人口統計的多様性に欠ける実世界データセットにおける欠損データを効果的に補完できることを示した。