[논문 리뷰] Action Recognition for Depth Video using Multi-view Dynamic Images

Yang Xiao, Jun Chen외 4명|arXiv (Cornell University)|2018. 06. 29.

Human Pose and Action Recognition참고 문헌 56인용 수 6

한 줄 요약

이 논문은 다중 시야 동적 영상(Multi-view Dynamic Images)을 사용하여 깊이 영상의 행동 인식을 위한 새로운 방법을 제안한다. 이 방법은 다중 가상 시점에서 깊이 영상을 투영한 후 압축된 동적 영상으로 3D 운동 표현을 향상시킨다. 공유 컨볼루션 레이어를 갖춘 CNN과 시점별 분류기, 행동 제안 모듈을 활용하여 강건성과 기울기 소실 문제를 완화함으로써 세 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Dynamic imaging is a recently proposed action description paradigm for simultaneously capturing motion and temporal evolution information, particularly in the context of deep convolutional neural networks (CNNs). Compared with optical flow for motion characterization, dynamic imaging exhibits superior efficiency and compactness. Inspired by the success of dynamic imaging in RGB video, this study extends it to the depth domain. To better exploit three-dimensional (3D) characteristics, multi-view dynamic images are proposed. In particular, the raw depth video is densely projected with respect to different virtual imaging viewpoints by rotating the virtual camera within the 3D space. Subsequently, dynamic images are extracted from the obtained multi-view depth videos and multi-view dynamic images are thus constructed from these images. Accordingly, more view-tolerant visual cues can be involved. A novel CNN model is then proposed to perform feature learning on multi-view dynamic images. Particularly, the dynamic images from different views share the same convolutional layers but correspond to different fully connected layers. This is aimed at enhancing the tuning effectiveness on shallow convolutional layers by alleviating the gradient vanishing problem. Moreover, as the spatial occurrence variation of the actions may impair the CNN, an action proposal approach is also put forth. In experiments, the proposed approach can achieve state-of-the-art performance on three challenging datasets.

연구 동기 및 목표

• 높은 내부 클래스 변동성과 시점 변동성에 기인한 깊이 기반 행동 인식의 성능 제한 문제를 해결한다.
• 깊이 영상에서 광학 흐름과 시점 흐름의 한계를 극복하기 위해 더 효율적이고 압축된 운동 표현 방식을 제안한다.
• 깊이 데이터의 3D 구조적 특성을 활용하여 다중 시점 투영을 통해 더 풍부한 운동 특징을 추출한다.
• 작은 규모의 깊이 행동 데이터셋에서 딥 컨볼루션 신경망의 학습 안정성과 특징 학습 성능을 향상시키기 위해 시점별로 완전 연결 레이어의 구조를 설계한다.
• 공간적 변동성과 장면 민감성에 대한 강건성을 향상시키기 위해 공간-시간 행동 제안 메커니즘을 도입한다.

제안 방법

• 3D 공간에서 카메라를 회전시켜 다수의 가상 카메라 시점에서 깊이 영상 시퀀스를 조밀하게 투영하여 다중 시점 깊이 데이터를 확보한다.
• 시간 순서 질량 풀링(Temporal Rank Pooling)을 사용해 각 시점의 깊이 영상에서 동적 영상을 추출하여 영상 클립을 단일 정적 영상으로 변환함으로써 운동과 시간적 진화를 유지한다.
• 모든 가상 시점에서의 동적 영상을 집계하여 다중 시야 동적 영상을 구성함으로써 3D 운동 표현의 풍부함을 향상시킨다.
• 공유 컨볼루션 레이어가 모든 시점의 특징을 처리하고, 각 시점 그룹이 자체의 완전 연결 레이어를 갖는 새로운 CNN 모델을 설계하여 기울기 소실 문제를 줄이고 浅층 레이어의 튜닝 성능을 향상시킨다.
• 행동 세그먼트를 국소화하고 입력의 공간적 변동성에 대한 민감도를 줄이기 위해 공간-시간 행동 제안 방법을 도입한다.
• 엔드 투 엔드 CNN 학습에서 과적합을 방지하기 위해 소프트맥스 대신 SVM 분류기를 사용하여 소규모 깊이 행동 데이터셋에서의 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 단일 시점 동적 영상 외부에서 다중 시야 동적 영상이 깊이 영상의 3D 운동 특성을 효과적으로 캡처할 수 있는가?
• RQ2 시점별 완전 연결 레이어를 갖춘 제안된 CNN 아키텍처가 소규모 깊이 행동 데이터셋 환경에서 학습 안정성과 성능을 어떻게 향상시키는가?
• RQ3 공간-시간 행동 제안 메커니즘이 공간적 변동성에 대한 강건성을 얼마나 향상시키고 정확도를 향상시키는가?
• RQ4 제한된 레이블이 있는 깊이 행동 데이터에서 SVM이 소프트맥스보다 우월한 이유는 무엇이며, 전체 성능에 어떤 영향을 미치는가?
• RQ5 높은 계산 비용에도 불구하고 제안된 방법이 표준 깊이 행동 인식 벤치마크에서 최신 기술 수준 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 NTU RGB-D, Northwestern-UCLA, UWA3D II의 세 가지 과도한 깊이 행동 인식 데이터셋에서 최신 기술 수준 성능을 달성한다.
• NTU RGB-D 데이터셋에서 73.7%의 top-1 정확도와 87.3%의 top-5 정확도를 기록하여 기존 방법들을 초월한다.
• 모든 데이터셋에서 소프트맥스 분류기 대비 SVM 분류기가 최소 11.1% 이상 뛰어난 성능을 보이며, 낮은 데이터 환경에서의 효과성을 입증한다.
• 다중 시야 동적 영상 표현은 단일 시야 동적 영상보다 더 풍부한 3D 운동 특징을 캡처하여 분류 성능을 향상시킨다.
• 제안된 CNN 아키텍처는 각 시점 그룹의 완전 연결 레이어를 분리함으로써 얕은 레이어에서의 기울기 소실 문제를 효과적으로 완화한다.
• 전체 온라인 추론 시간은 평균적으로 1개 영상당 약 51.02초이며, 다중 시야 투영이 가장 시간 소모가 크다(34.5초).