[논문 리뷰] RGB-D Based Action Recognition with Light-weight 3D Convolutional Networks

Haokui Zhang, Ying Li외 3명|arXiv (Cornell University)|2018. 11. 24.

Human Pose and Action Recognition참고 문헌 57인용 수 5

한 줄 요약

이 논문은 RGB-D 기반 행동 인식을 위한 경량 3D 컨볼루션 네트워크(IST, SST, GSST)를 제안하며, 3D 컨볼루션을 공간적 및 시간적 구성요소로 분해하고 채널 셔플링, 그룹 컨볼루션, 그리고 tanh 기반 융합 전략을 사용한다. 이 모델들은 파arameter 수와 추론 시간을 크게 줄였음에도 불구하고 NTU(97.6% cross-view)와 N-UCLA(95.5%)에서 최신 기술 수준의 정확도를 달성하여 I3D에 비해 효율성이 뛰어나면서도 경쟁 가능한 성능을 유지한다.

ABSTRACT

Different from RGB videos, depth data in RGB-D videos provide key complementary information for tristimulus visual data which potentially could achieve accuracy improvement for action recognition. However, most of the existing action recognition models solely using RGB videos limit the performance capacity. Additionally, the state-of-the-art action recognition models, namely 3D convolutional neural networks (3D-CNNs) contain tremendous parameters suffering from computational inefficiency. In this paper, we propose a series of 3D light-weight architectures for action recognition based on RGB-D data. Compared with conventional 3D-CNN models, the proposed light-weight 3D-CNNs have considerably less parameters involving lower computation cost, while it results in favorable recognition performance. Experimental results on two public benchmark datasets show that our models can approximate or outperform the state-of-the-art approaches. Specifically, on the RGB+D-NTU (NTU) dataset, we achieve 93.2% and 97.6% for cross-subject and cross-view measurement, and on the Northwestern-UCLA Multiview Action 3D (N-UCLA) dataset, we achieve 95.5% accuracy of cross-view.

연구 동기 및 목표

• 행동 인식 분야에서 최신 기술 수준의 3D-CNN이 가지는 높은 계산 비용과 큰 파라미터 수를 해결하기 위해.
• RGB와 깊이 모odal 간의 상호보완적 정보를 활용하여 RGB-D 영상에서 행동 인식 정확도를 향상시키기 위해.
• 최소한의 계산 오버헤드로 높은 성능을 유지하는 효율적인 3D-CNN 아키텍처를 설계하기 위해.
• 공개된 RGB-D 벤치마크, 특히 NTU 및 N-UCLA 데이터셋을 통해 경량 3D-CNN의 효과성을 검증하기 위해.

제안 방법

• 3D 컨볼루션을 별도의 공간적 및 시간적 2D 컨볼루션으로 분해하여 파라미터 수와 계산량을 감소시키기 위해.
• 잔차 블록 내에서 채널 셔플링과 분할을 적용하여 특징 표현 능력과 파라미터 효율성을 향상시키기 위해.
• 네트워크 내에서 그룹 컨볼루션을 사용하여 파라미터 수와 계산 비용을 추가로 감소시키기 위해.
• RGB와 깊이 특징을 효과적으로 융합하기 위해 하이퍼볼릭 탄젠트 기반 융합 전략을 도입하기 위해.
• 세 가지 경량 변형 모델을 설계: IST(공간-시간 분리), SST(그룹 컨볼루션 포함), GSST(추가적인 채널 분할 및 그룹 컨볼루션 포함).
• 초기 특징 추출 능력을 유지하기 위해 첫 번째 컨볼루션 레이어를 압축 없이 유지하고, 효율성 향상은 깊이 있는 레이어에 집중하기 위해.

실험 결과

연구 질문

• RQ1 3D 컨볼루션을 공간적 및 시간적 구성요소로 분리함으로써 정확도 손실 없이 모델 파라미터 수와 FLOPs를 크게 줄일 수 있는가?
• RQ2 RGB-only 모델에 비해 깊이 데이터 통합이 행동 인식 성능 향상에 얼마나 기여하는가?
• RQ3 경량 3D-CNN이 I3D와 같은 무거운 최신 기술 수준의 모델에 비해 얼마나 높은 성능을 유지하거나 초월할 수 있는가?
• RQ4 그룹 컨볼루션, 채널 셔플링 등의 아키텍처 구성 요소가 정확도, 파라미터 수, 추론 속도 간의 트레이드오프에 미치는 영향은 어떠한가?

주요 결과

• NTU 데이터셋에서 제안된 GSST 모델은 cross-view 평가에서 97.6%의 정확도를 달성하였으며, I3D에 비해 효율성이 뛰어나면서도 높은 정확도를 유지하였다.
• N-UCLA 데이터셋에서 모델은 cross-view 평가에서 95.5%의 정확도를 기록하여 다중시점 데이터에 대한 강력한 일반화 능력을 입증하였다.
• I3D 대비 GeForce GTX TITAN에서 추론 시간을 약 45% 감소시키고, Tesla K40c에서는 48% 감소시켰으며, 각각 반복당 실행 시간이 0.214초와 0.296초였다.
• 첫 번째 컨볼루션 레이어는 총 FLOPs의 23.8%에서 61.8%를 차지하고 있었지만, 총 파라미터의 0.5%에서 2.1%에 불과하여, 효율성 향상을 위해 초기 레이어 최적화가 중요하다는 점을 시사하였다.
• GSST에서 그룹 컨볼루션 사용으로 인해 SST 대비 정확도가 유의미하게 감소한 것으로 나타나, 압축과 표현 능력 간의 잠재적 트레이드오프가 존재함을 시사하였다.