[논문 리뷰] 3DFCNN: Real-Time Action Recognition using 3D Deep Neural Networks with Raw Depth Information

A. Sánchez-Caballero, Sergio de López-Diz외 5명|arXiv (Cornell University)|2020. 06. 13.

Human Pose and Action Recognition인용 수 8

한 줄 요약

이 논문은 RGB-D 카메라에서의 원시 깊이 시퀀스를 사용하여 엔드 투 엔드로 인간 동작 인식을 수행하는 실시간 3D 완전 컨volution 신경망인 3DFCNN을 제안한다. 이는 기존의 딥러닝 방법들보다 훨씬 낮은 계산 비용으로 최신 기술 수준의 정확도를 달성하면서도 깊이 데이터만을 사용함으로써 사용자 프라이버시를 보호한다.

ABSTRACT

Human actions recognition is a fundamental task in artificial vision, that has earned a great importance in recent years due to its multiple applications in different areas. %, such as the study of human behavior, security or video surveillance. In this context, this paper describes an approach for real-time human action recognition from raw depth image-sequences, provided by an RGB-D camera. The proposal is based on a 3D fully convolutional neural network, named 3DFCNN, which automatically encodes spatio-temporal patterns from depth sequences without %any costly pre-processing. Furthermore, the described 3D-CNN allows %automatic features extraction and actions classification from the spatial and temporal encoded information of depth sequences. The use of depth data ensures that action recognition is carried out protecting people's privacy% allows recognizing the actions carried out by people, protecting their privacy%\sout{of them} , since their identities can not be recognized from these data. %\st{ from depth images.} 3DFCNN has been evaluated and its results compared to those from other state-of-the-art methods within three widely used %large-scale NTU RGB+D datasets, with different characteristics (resolution, sensor type, number of views, camera location, etc.). The obtained results allows validating the proposal, concluding that it outperforms several state-of-the-art approaches based on classical computer vision techniques. Furthermore, it achieves action recognition accuracy comparable to deep learning based state-of-the-art methods with a lower computational cost, which allows its use in real-time applications.

연구 동기 및 목표

• RGB가 아닌 깊이 데이터를 활용하여 기밀이 중요한 응용 분야에서 실시간 인간 동작 인식의 과제를 해결한다.
• 비용이 많이 드는 사전 처리 없이 원시 깊이 시퀀스에서 공간-시간 특징을 자동으로 추출하는 딥러닝 모델을 개발한다.
• 실시간 배포에 적합한 낮은 계산 오버헤드를 유지하면서도 최신 기술 수준의 딥러닝 모델과 비교할 만한 높은 인식 정확도를 달성한다.
• 다양한 카메라 시야, 해상도, 센서 유형을 가진 다양한 데이터셋에 대해 강건성을 확보하며, 특히 다중 시점 환경에서의 성능을 확보한다.
• 깊이 전용 입력이 표준 벤치마크에서 성능을 희생시키지 않고도 프라이버시 보호 동작 인식을 가능하게 함을 입증한다.

제안 방법

• 수작업 특징 기반 공학이 필요 없도록 원시 깊이 영상 클립을 엔드 투 엔드로 처리하는 3D 완전 컨volution 신경망(3DFCNN)을 설계한다.
• 3D 컨볼루션 및 풀링 레이어를 사용하여 깊이 시퀀스에서 공간적 및 시간적 패턴을 동시에 학습함으로써 인간의 운동 동적 패턴을 포착한다.
• 모델 일반화를 향상시키기 위해 학습률 범위 테스트, 사이클릭 학습률 스케줄링, 및 고유한 데이터 생성 전략과 같은 고급 학습 기법을 적용한다.
• 효율성 최적화를 위해 네트워크 아키텍처를 설계하여, 3D 컨볼루션을 사용하더라도 표준 하드웨어에서 실시간 추론이 가능하도록 한다.
• NTU RGB+D 데이터셋에서 모델을 학습하고, 다중 시점 강건성 확보를 위해 추가로 NWUCLA 및 UWA3DII 데이터셋에서 검증한다.
• 학습된 공간-시간 특징에서 직접 동작를 분류하기 위해 최종 단계에 소프트맥스 레이어를 사용한다.

실험 결과

연구 질문

• RQ1 3D 완전 컨볼루션 신경망이 사전 처리 없이도 원시 깊이 시퀀스만을 사용하여 높은 동작 인식 정확도를 달성할 수 있는가?
• RQ2 기존의 전통적 컴퓨터 비전 방법과 다른 딥러닝 접근법에 비해 표준 데이터셋에서 제안된 3DFCNN 모델의 정확도와 계산 효율성은 어떻게 비교되는가?
• RQ3 다중 시점 동작 인식 환경에서 3DFCNN 모델이 다양한 카메라 시야와 센서 구성에 대해 얼마나 일반화되는가?
• RQ4 깊이 전용 입력이 사용자 프라이버시를 보장하면서도 RGB 기반 방법과 비교해 높은 인식 성능를 유지할 수 있는가?
• RQ5 어떤 학습 전략과 아키텍처 선택이 대규모 깊이 동작 데이터셋에서 경쟁력 있는 정확도를 유지하면서도 실시간 추론을 가능하게 하는가?

주요 결과

• NTU RGB+D 데이터셋에서 3DFCNN은 가장 도전적인 테스트 스플릿(V1+V2)에서 88.3%의 동작 인식 정확도를 달성하여 전통적 방법을 능가하고 최신 기술 수준의 딥러닝 모델과 동등한 성능을 보였다.
• 다중 시점 UWA3DII 데이터셋에서 3DFCNN은 평균 정확도 66.6%를 기록하여 CCD(11.2%) 및 HON4D(28.9%)와 같은 전통적 방법을 뛰어넘었으며, MVDI(68.1%)에 가까운 성능을 내면서도 훨씬 낮은 계산 비용을 기록했다.
• NWUCLA 다중 시점 데이터셋에서 3DFCNN은 83.6%의 정확도를 기록하여 HOPC(80.0%) 및 MVDI(84.2%)를 능가하며 다양한 카메라 시점에서의 강건성을 입증했다.
• 3DFCNN는 NTU RGB+D 데이터셋에서 최신 기술 수준의 정확도를 달성하면서도 경량 아키텍처를 유지하여 실시간 추론이 가능함을 보였다. 이는 더 무거운 딥러닝 모델에 비해 핵심적인 이점이다.
• 높은 정확도에도 불구하고, '쓰기'와 '읽기'와 같은 미세한 동작 간의 구분에서 여전히 어려움을 겪고 있어 향후 연구 과제로 남아 있다.
• 사이클릭 학습률과 학습률 범위 테스트의 사용이 학습 안정성과 최종 성능 향상에 크게 기여하여 모델의 강력한 일반화 능력을 확보했다.