[논문 리뷰] RGB-D-based Human Motion Recognition with Deep Learning: A Survey

Pichao Wang, Wanqing Li외 3명|arXiv (Cornell University)|2017. 10. 31.

Human Pose and Action Recognition참고 문헌 154인용 수 33

한 줄 요약

이 종합 검토는 RGB-D 기반 인간 동작 인식에 응용된 딥러닝 기법을 종합적으로 분석하며, 모odal(색상, 깊이, 스켈레톤, RGB+D)별로 방법을 분류하고 시공간-구조적 인코딩 기법을 분석한다. 주요 과제와 향후 연구 방향으로는 제로샷 러닝, 가림에 대한 강건성, GAN을 활용한 비지도 학습, 온라인 동작 예측을 포함한다.

ABSTRACT

Human motion recognition is one of the most important branches of human-centered research activities. In recent years, motion recognition based on RGB-D data has attracted much attention. Along with the development in artificial intelligence, deep learning techniques have gained remarkable success in computer vision. In particular, convolutional neural networks (CNN) have achieved great success for image-based tasks, and recurrent neural networks (RNN) are renowned for sequence-based problems. Specifically, deep learning methods based on the CNN and RNN architectures have been adopted for motion recognition using RGB-D data. In this paper, a detailed overview of recent advances in RGB-D-based motion recognition is presented. The reviewed methods are broadly categorized into four groups, depending on the modality adopted for recognition: RGB-based, depth-based, skeleton-based and RGB+D-based. As a survey focused on the application of deep learning to RGB-D-based motion recognition, we explicitly discuss the advantages and limitations of existing techniques. Particularly, we highlighted the methods of encoding spatial-temporal-structural information inherent in video sequence, and discuss potential directions for future research.

연구 동기 및 목표

• RGB-D 기반 인간 동작 인식에 적용된 딥러닝 기법에 대한 체계적인 검토를 제공하는 것.
• 입력 모달리티(색상, 깊이, 스켈레톤, 다중모달 RGB+D)에 따라 기존 방법을 분류하는 것.
• 비디오 시퀀스 내에서 공간, 시간, 구조적 정보가 딥러닝 모델에 의해 어떻게 인코딩되고 활용되는지 분석하는 것.
• 일반화, 가림, 데이터 효율성 측면에서 현재 접근법의 한계를 규명하는 것.
• 제로샷 러닝, GAN을 활용한 비지도 학습, 온라인 동작 인식과 같은 새로운 연구 방향을 제시하는 것.

제안 방법

• 입력 모달리티 기반으로 RGB-D 동작 인식 방법을 4개 카테고리로 분류: 색상 기반, 깊이 기반, 스켈레톤 기반, RGB+D 기반.
• 2D/3D CNN과 RNN(특히 LSTMs 포함)과 같은 딥러닝 아키텍처를 검토하여 특징 추출 및 시퀀스 모델링에 활용.
• 운동 동역학, 신체 자세, 시간적 의존성을 포괄하는 시공간-구조적 인코딩 전략 분석.
• 제한된 데이터셋에서 성능 향상을 위해 사전 학습 모델과 전이 학습의 활용 평가.
• 조기 또는 후기 융합 기법을 통한 다중모달 데이터(RGB, 깊이, 스켈레톤) 통합 논의.
• 비디오에서의 비지도 표현 학습을 위한 최근의 자기지도 학습 및 생성 모델(GAN 포함)의 발전 분석.

실험 결과

연구 질문

• RQ1 다양한 모달리티(RGB, 깊이, 스켈레톤, RGB+D)는 인간 동작 인식에서 딥러닝 모델의 성능에 어떻게 기여하는가?
• RQ2 RGB-D 비디오 시퀀스 내에서 공간, 시간, 구조적 정보를 효과적으로 인코딩하기 위한 최적의 딥러닝 아키텍처는 무엇인가?
• RQ3 실제 환경에서의 어려움, 예를 들어 가림과 조도 변화에 대해 현재 RGB-D 동작 인식 방법의 주요 한계는 무엇인가?
• RQ4 라벨이 부족한 상황에서 비지도 또는 소수의 샘플 학습 기법은 일반화 능력을 어떻게 향상시킬 수 있는가?
• RQ5 딥러닝을 활용한 온라인 동작 인식 및 행동 예측에서 가장 유망한 연구 방향은 무엇인가?

주요 결과

• RGB-D 데이터는 조도 변화에 강건하며 풍부한 3차원 구조적 정보를 제공하여 동작 인식에 매우 효과적이다.
• 3D CNN과 RNN(특히 LSTMs)은 시공간적 특징을 캡처하는 데 널리 사용되며, 3D CNN은 행동 인식 작업에서 뛰어난 성능을 보인다.
• 스켈레톤 기반 방법은 차원 수축과 더불어 해석 가능성 향상에 기여하며, 특히 주의 메커니즘과 조합 시 유용하다.
• 다중모달 융합(RGB+D)은 단일 모달리티 접근보다 일반적으로 더 높은 성능을 보이며, 특히 복잡한 상황에서 유리하다.
• 진전이 있었음에도 불구하고, 가림, 도메인 이동, 데이터 부족 문제는 여전히 해결이 필요한 과제이며, 특히 실외 환경에서 더욱 심각하다.
• 최근 기술로는 GAN과 자기지도 학습이 비지도 표현 학습 및 소수의 샘플로도 일반화 가능한 능력 향상에 강력한 잠재력을 보이고 있다.