[논문 리뷰] ElderSim: A Synthetic Data Generation Platform for Human Action Recognition in Eldercare Applications

Hochul Hwang, Cheongjae Jang외 3명|arXiv (Cornell University)|2020. 10. 28.

Human Pose and Action Recognition참고 문헌 55인용 수 9

한 줄 요약

ElderSim는 실감나는 3D 캐릭터 애니메이션과 사용자 정의 가능한 환경 설정을 사용하여 노인의 일상 활동 55종을 시뮬레이션하는 합성 데이터 생성 플랫폼이다. RGB 영상과 3D 스켈레톤 트래잭터리를 생성함으로써 ElderSim는 KIST SynADL 데이터셋을 생성하며, 이는 딥러닝 모델에서 실제 데이터셋을 증강할 때 행동 인식 성능을 크게 향상시킨다.

ABSTRACT

To train deep learning models for vision-based action recognition of elders' daily activities, we need large-scale activity datasets acquired under various daily living environments and conditions. However, most public datasets used in human action recognition either differ from or have limited coverage of elders' activities in many aspects, making it challenging to recognize elders' daily activities well by only utilizing existing datasets. Recently, such limitations of available datasets have actively been compensated by generating synthetic data from realistic simulation environments and using those data to train deep learning models. In this paper, based on these ideas we develop ElderSim, an action simulation platform that can generate synthetic data on elders' daily activities. For 55 kinds of frequent daily activities of the elders, ElderSim generates realistic motions of synthetic characters with various adjustable data-generating options, and provides different output modalities including RGB videos, two- and three-dimensional skeleton trajectories. We then generate KIST SynADL, a large-scale synthetic dataset of elders' activities of daily living, from ElderSim and use the data in addition to real datasets to train three state-of the-art human action recognition models. From the experiments following several newly proposed scenarios that assume different real and synthetic dataset configurations for training, we observe a noticeable performance improvement by augmenting our synthetic data. We also offer guidance with insights for the effective utilization of synthetic data to help recognize elders' daily activities.

연구 동기 및 목표

• 시각 기반 시스템에서 노인의 일상 활동(ADL)을 인식하기 위한 다양한 대규모 실제 데이터셋의 부족을 해결하기 위해.
• 기존 공개 데이터셋이 종종 젊은 대상자, 통제된 실험실 환경, 낮은 환경 다양성을 가지는 데서 비롯되는 한계를 극복하기 위해.
• 다양한 조건에서 현실적인 노인의 ADL을 시뮬레이션할 수 있는 확장성 있고 사용자 정의 가능한 합성 데이터 생성 플랫폼을 개발하기 위해.
• 합성 데이터의 효과성이 딥러닝 기반 인간 행동 인식(HAR) 성능 향상에 기여하는지 평가하기 위해.
• HAR 학습 파이프라인에 합성 데이터를 효과적으로 통합하기 위한 실용적 지침을 제공하기 위해.

제안 방법

• ElderSim는 고해상도 3D 렌더링 및 모델링 도구를 사용하여 노인의 신체 비율과 움직임에 적합한 실감나는 실내 환경과 캐릭터를 시뮬레이션한다.
• 카메라 시점, 조명 조건, 배경 변화 등의 조절 가능한 파rameter를 통해 일상 활동 55종(예: 걷기, 식사, 앉기)을 생성한다.
• 합성 데이터는 RGB 영상 시퀀스와 2D/3D 스켈레톤 트래잭터리 등 여러 모odalities로 출력되어 딥러닝 학습에 사용된다.
• ElderSim에서 유도된 대규모 합성 데이터셋인 KIST SynADL은 NTU RGB+D 및 ETRI와 같은 실제 데이터셋을 증강하기 위해 생성된다.
• 세 가지 최신 HAR 모델(Glimpse, ST-GCN, VA-CNN)은 다양한 크로스 데이터셋 및 크로스 조건 설정에서 실제 데이터와 합성 데이터의 조합을 사용해 훈련된다.
• 메서드는 크로스 연령(젊은 대상자 대비 노인 대상자), 크로스 시점, 크로스 데이터셋 시나리오를 포함한 다양한 테스트 분할에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 ElderSim가 생성한 합성 데이터가 노인의 일상 활동을 인식하는 딥러닝 모델의 성능을 유의미하게 향상시키는가?
• RQ2 합성 데이터의 포함 여부가 모델 아키텍처 개선 대비 인식 정확도에서 어떤 영향을 미치는가?
• RQ3 합성 데이터 증강이 다양한 카메라 시점, 조명 조건, 대상자 연령대 간의 일반화에 어떤 영향을 미치는가?
• RQ4 합성 데이터는 젊은 대상자 데이터셋(예: NTU)과 실제 노인 활동 데이터 간의 도메인 갭을 얼마나 효과적으로 메우는가?
• RQ5 성능 향상을 극대화하기 위해 합성 데이터를 HAR 학습에 통합하는 데 최적의 전략은 무엇인가?

주요 결과

• NTU 데이터에서 훈련할 때 ETRI 데이터셋의 정확도를 최대 16.39% 향상시키기 위해 KIST SynADL 합성 데이터로 실제 데이터셋을 증강한 결과가 나타났다.
• Glimpse, ST-GCN, VA-CNN 등 여러 모델에서 성능 향상이 일관되게 관찰되어 합성 데이터의 광범위한 효과성을 입증했다.
• 크로스 연령 평가에서 노인 대상자에서 정확도가 3.70% 향상되었고, 젊은 대상자에서는 2.90% 향상되어 연령 도메인 이동에 대한 강건성을 보였다.
• 일부 설정에서 합성 데이터 증강이 모델 아키텍처 개선을 초월하여 기준 VA-CNN 모델 대비 1.94% 정확도 향상을 달성했다.
• 합성 데이터의 포함은 특히 다양한 카메라 시점과 조명 조건에서의 모델 일반화 능력을 향상시켰다.
• 본 연구는 합성 데이터가 실제 데이터셋에서 부족한 환경적·인구 통계적 다양성 측면에서 효과적으로 보완할 수 있음을 입증했다.