[논문 리뷰] ETRI-Activity3D: A Large-Scale RGB-D Dataset for Robots to Recognize Daily Activities of the Elderly

Jinhyeok Jang, Dohyung Kim외 4명|arXiv (Cornell University)|2020. 03. 04.

Human Pose and Action Recognition참고 문헌 26인용 수 5

한 줄 요약

이 논문은 100명의 노인들이 수행한 55개의 동작 카테고리를 포함한 대규모 RGB-D 데이터셋인 ETRI-Activity3D를 소개한다. 이 데이터셋은 로봇의 시각에서 촬영한 112,620개의 샘플로 구성되어 있으며, 공간적·시간적 변동성에 강건하고 입력에 적응하는 활성화 함수를 갖춘 네 스트림 적응형 CNN(FSA-CNN) 모델을 제안한다. 이 모델은 NTU RGB+D 및 ETRI-Activity3D에서 뛰어난 성능을 보이며, 연령대 간 도메인 이동이 검증된 바 있다.

ABSTRACT

Deep learning, based on which many modern algorithms operate, is well known to be data-hungry. In particular, the datasets appropriate for the intended application are difficult to obtain. To cope with this situation, we introduce a new dataset called ETRI-Activity3D, focusing on the daily activities of the elderly in robot-view. The major characteristics of the new dataset are as follows: 1) practical action categories that are selected from the close observation of the daily lives of the elderly; 2) realistic data collection, which reflects the robot's working environment and service situations; and 3) a large-scale dataset that overcomes the limitations of the current 3D activity analysis benchmark datasets. The proposed dataset contains 112,620 samples including RGB videos, depth maps, and skeleton sequences. During the data acquisition, 100 subjects were asked to perform 55 daily activities. Additionally, we propose a novel network called four-stream adaptive CNN (FSA-CNN). The proposed FSA-CNN has three main properties: robustness to spatio-temporal variations, input-adaptive activation function, and extension of the conventional two-stream approach. In the experiment section, we confirmed the superiority of the proposed FSA-CNN using NTU RGB+D and ETRI-Activity3D. Further, the domain difference between both groups of age was verified experimentally. Finally, the extension of FSA-CNN to deal with the multimodal data was investigated.

연구 동기 및 목표

• 로봇이 실생활 환경에서 어르신의 일상 활동을 인식하기 위해 특화된 대규모이고 현실적인 RGB-D 데이터셋의 부족 문제를 해결하기 위해.
• 공간적·시간적 변동성과 도메인 이동을 다룰 수 있는 강건한 딥러닝 모델을 개발하기 위해.
• RGB, 깊이, 뼈대 입력을 동시에 처리할 수 있도록 모델을 확장하여 효과적인 다중모달 학습을 가능하게 하기 위해.

제안 방법

• ETRI-Activity3D 데이터셋은 실제 주거 환경에서 RGB-D 센서를 사용해 수집되었으며, 100명의 어르신이 수행한 55종의 일상 활동에 대해 총 112,620개의 샘플을 포함한다.
• 세 가지 주요 구성 요소를 갖춘 새로운 네 스트림 적응형 CNN(FSA-CNN)이 설계되었으며, 공간적·시간적 강건성, 입력에 적응하는 활성화 함수, 이중 스트림 프레임워크의 확장이다.
• FSA-CNN은 RGB, 깊이, 뼈대 모달리티를 별도의 스트림 처리 방식으로 통합하며, 입력 특징에 따라 조정되는 적응형 활성화 함수를 적용한다.
• 최종 분류를 위해 스트림 특징을 후기 융합하는 방식을 사용하여 다양한 입력 분포 간의 일반화 능력을 향상시킨다.
• 성능 및 도메인 이동에 대한 강건성을 검증하기 위해, FSA-CNN은 NTU RGB+D 및 새로 제안된 ETRI-Activity3D 데이터셋 모두에서 학습 및 평가되었다.
• 연령대 간 성능 비교를 통해 도메인 이동를 정량적으로 분석하였으며, 모델이 다양한 인구 통계적 분포에 적응할 수 있음을 확인하였다.

실험 결과

연구 질문

• RQ1 대규모이고 현실적인 RGB-D 데이터셋이 주거 환경에서 어르신의 일상 활동을 인식하는 데에 효과적인가?
• RQ2 FSA-CNN 모델은 공간적·시간적 변동성이 있는 복잡한 인간 동작 인식에서 기존의 이중 스트림 네트워크보다 어떻게 성능을 냈는가?
• RQ3 입력에 적응하는 활성화 메커니즘이 다중모달 동작 인식에서 모델의 강건성과 정확도를 얼마나 향상시키는가?
• RQ4 제안된 모델은 특히 청소년과 어르신 인구 간 도메인 이동에 대해 잘 일반화되는가?
• RQ5 FSA-CNN은 RGB, 깊이, 뼈대 등의 다중모달 입력을 효과적으로 융합하여 인식 성능을 향상시키는가?

주요 결과

• ETRI-Activity3D 데이터셋은 100명의 어르신이 수행한 55종의 일상 활동에 대해 총 112,620개의 샘플을 포함하며, 현실적인 로봇 시각 조건에서 촬영되었다.
• FSA-CNN은 NTU RGB+D 및 ETRI-Activity3D 양쪽에서 최신 기준 성능을 달성하였으며, 기존의 이중 스트림 네트워크를 초월하는 성능을 보였다.
• 모델는 다양한 동작 시퀀스에서 공간적·시간적 변동성에 강건하여 높은 정확도를 유지하는 것으로 나타났다.
• 청소년과 어르신 인구 간에 뚜렷한 도메인 이동이 실험적으로 확인되었으며, 이는 동작 인식에서 연령 특화 데이터의 중요성을 시사한다.
• FSA-CNN을 RGB, 깊이, 뼈대 등 다중모달 입력으로 확장함으로써 인식 정확도가 향상되었으며, 다중모달 융합의 효과성을 확인하였다.
• 입력에 적응하는 활성화 함수는 특히 입력 모달리티의 품질과 분포 변화를 다룰 때 더 나은 특징 학습에 기여하였다.