[논문 리뷰] Deep Learning on Lie Groups for Skeleton-based Action Recognition

Zhiwu Huang, Chengde Wan외 2명|arXiv (Cornell University)|2016. 12. 18.

Human Pose and Action Recognition참고 문헌 40인용 수 12

한 줄 요약

이 논문은 뼈대 기반 동작 인식을 위한 딥 뉴럴 네트워크 아키텍처인 LieNet을 제안한다. Lie 그룹 구조를 딥 러닝에 통합함으로써 시간적 특징을 정렬하고 차원을 감소시키며, 데이터를 탄성 공간으로 투영함으로써 최신 기술 수준의 성능을 달성한다. 이는 표준 3D 동작 인식 벤치마크에서 얕은 Lie 그룹 방법과 많은 전통적인 딥 러닝 모델을 능가한다.

ABSTRACT

In recent years, skeleton-based action recognition has become a popular 3D classification problem. State-of-the-art methods typically first represent each motion sequence as a high-dimensional trajectory on a Lie group with an additional dynamic time warping, and then shallowly learn favorable Lie group features. In this paper we incorporate the Lie group structure into a deep network architecture to learn more appropriate Lie group features for 3D action recognition. Within the network structure, we design rotation mapping layers to transform the input Lie group features into desirable ones, which are aligned better in the temporal domain. To reduce the high feature dimensionality, the architecture is equipped with rotation pooling layers for the elements on the Lie group. Furthermore, we propose a logarithm mapping layer to map the resulting manifold data into a tangent space that facilitates the application of regular output layers for the final classification. Evaluations of the proposed network for standard 3D human action recognition datasets clearly demonstrate its superiority over existing shallow Lie group feature learning methods as well as most conventional deep learning methods.

연구 동기 및 목표

• 뼈대 기반 동작 인식에서 시간적 비일치와 고차원 특징을 다루는 데에 한계가 있는 얕은 Lie 그룹 특징 학습 방법의 문제를 해결하기 위해.
• 더 효과적인 표현 학습을 위해 Lie 그룹의 기하학적 구조를 내재적으로 통합하는 딥 네트워크 아키텍처를 개발하기 위해.
• 특수화된 레이어를 통해 딥 러닝을 리만 다양체로 확장하여 비유비드 공간에서의 엔드 투 엔드 학습을 가능하게 하기 위해.
• 뼈대 운동 궤적의 내재 기하학을 활용하여 표준 3D 동작 인식 데이터셋에서 분류 정확도를 향상시키기 위해.

제안 방법

• 입력 Lie 그룹 특징를 시간 도메인에서 더 잘 정렬된 표현으로 변환하는 회전 매핑 레이어를 도입하여 속도 변화의 영향을 완화한다.
• 다양체 상에서 공간적 및 시간적 조합을 통해 고차원 Lie 그룹 특징를 감소시키는 회전 풀링 레이어를 적용한다.
• 다양체 구조의 특징를 탄성 공간으로 투영하기 위해 로그 매핑 레이어를 적용하여 표준 완전 연결 및 소프트맥스 출력 레이어의 사용을 가능하게 한다.
• Lie 그룹에 맞게 조정된 확률적 경사 하강법의 변종을 사용하여 리만 다각형 상에서의 역전파 및 엔드 투 엔드 학습을 수행한다.
• 반복적으로 계층적 표현을 학습하기 위해 스택된 블록(RotMap, Pooling, LogMap)으로 구성된 모듈러 네트워크 구조를 설계한다.
• 모든 연산이 기저 다양체의 비유클리드 기하학과 일관성을 유지하도록 하여 리만 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 뼈대 기반 동작 인식을 위한 비유클리드 Lie 그룹 다양체로 딥 러닝을 효과적으로 확장할 수 있는가?
• RQ2 Lie 그룹 기하학을 활용한 딥 러닝 프레임워크 내에서 뼈대 시퀀스의 시간적 비일치(속도 변화)를 어떻게 완화할 수 있는가?
• RQ3 다양체 인식 풀링 및 매핑 연산을 통해 고차원 Lie 그룹 특징를 감소시키는 것이 분류 정확도에 어떤 영향을 미치는가?
• RQ4 제안된 LieNet 아키텍처는 표준 벤치마크에서 얕은 Lie 그룹 방법과 전통적인 딥 러닝 모델과 비교해 어떻게 성능을 내는가?
• RQ5 뼈대 운동 궤적의 기하학적 구조를 유지하는 딥 네트워크는 3D 동작 인식에서 우수한 성능을 달성할 수 있는가?

주요 결과

• LieNet-3Blocks는 NTU RGB+D 데이터셋의 크로스-서브젝트 프로토콜에서 61.37%의 정확도를, 크로스-뷰 프로토콜에서는 66.95%의 정확도를 기록하여 얕은 Lie 그룹 방법인 SE와 SO를 능가한다.
• LieNet의 성능은 더 깊은 아키텍처로 향상되며, 이는 블록 스택이 Lie 그룹 상에서 표현 학습을 향상시킨다는 것을 보여준다.
• PA-LSTM 및 ST-LSTM과 같은 최신 기술 수준의 딥 러닝 모델과 비교해도 경쟁적인 성능을 보이며, 특히 공간적 특징 학습에서 뛰어난 성능을 발휘한다.
• G3D-Gaming 데이터셋에서의 결과를 통해 LieNet의 학습 수렴이 안정적이며, 100 에포크 후 안정된 해에 도달함을 입증하였다.
• 모델은 중간 수준의 메모리(1.1–1.4 GB)와 추론 시간(3–86분)을 요구하며, GPU 구현을 통해 상당한 속도 향상이 가능하다.
• 시각화 결과는 네트워크가 뼈대 운동의 내재 기하학적 성질과 일치하는 의미 있는 구조적 표현을 학습하고 있음을 시사한다.