[논문 리뷰] CNN-based Action Recognition and Supervised Domain Adaptation on 3D Body Skeletons via Kernel Feature Maps

Yusuf Tas, Piotr Koniusz|arXiv (Cornell University)|2018. 06. 24.

Human Pose and Action Recognition인용 수 11

한 줄 요약

이 논문은 3D 신체 뼈대 시퀀스를 위한 커널 기반 특징 매핑 표현을 제안하여, 겹치는 동작 클래스가 있는 데이터셋 간의 지도형 도메인 적응을 통해 효과적인 전이 학습을 가능하게 한다. 시간적 관절 시퀀스를 텍스처 유사 커널 매핑으로 인코딩함으로써, 겹치는 동작 클래스가 있는 세 가지 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Deep learning is ubiquitous across many areas areas of computer vision. It often requires large scale datasets for training before being fine-tuned on small-to-medium scale problems. Activity, or, in other words, action recognition, is one of many application areas of deep learning. While there exist many Convolutional Neural Network architectures that work with the RGB and optical flow frames, training on the time sequences of 3D body skeleton joints is often performed via recurrent networks such as LSTM. In this paper, we propose a new representation which encodes sequences of 3D body skeleton joints in texture-like representations derived from mathematically rigorous kernel methods. Such a representation becomes the first layer in a standard CNN network e.g., ResNet-50, which is then used in the supervised domain adaptation pipeline to transfer information from the source to target dataset. This lets us leverage the available Kinect-based data beyond training on a single dataset and outperform simple fine-tuning on any two datasets combined in a naive manner. More specifically, in this paper we utilize the overlapping classes between datasets. We associate datapoints of the same class via so-called commonality, known from the supervised domain adaptation. We demonstrate state-of-the-art results on three publicly available benchmarks.

연구 동기 및 목표

• 겹치는 동작 클래스가 있는 데이터셋 간의 도메인 적응을 활용하여 3D 인간 동작 인식에서 레이블이 부족한 데이터 문제를 해결한다.
• LSTM 등의 순환 신경망의 3D 뼈대 시퀀스 처리 능력에 한계가 있음을 극복하기 위해, ResNet-50와 같은 강력한 오프더쉐프 CNN을 사용할 수 있도록 한다.
• 3D 뼈대 시퀀스를 표준 CNN과 호환되는 형태로 변환하는 수학적으로 탄탄한 표현 방식을 개발한다.
• 두 번째 차수 산란 행렬 정렬 기반의 지도형 도메인 적응 프레임워크를 사용하여 소스 및 타겟 데이터셋 간 지식 전이를 가능하게 한다.
• 분류 및 도메인 정렬 손실을 동시에 최적화하여 일반화 능력과 액션 인식 성능을 향상시킨다.

제안 방법

• 수학적으로 엄밀한 커널 방법을 사용하여 3D 신체 관절 좌표 시퀀스를 커널 특징 매핑으로 변환함으로써 텍스처 유사 입력 표현을 생성한다.
• 이러한 커널 특징 매핑을 사전에 훈련된 ResNet-50 네트워크에 입력으로 제공하여 표준 CNN과 함께 엔드 투 엔드 훈련을 가능하게 한다.
• So-HoT 방법 기반의 지도형 도메인 적응 프레임워크를 구현하여 소스 및 타겟 도메인 간 클래스별 특징 분포(평균 및 공분산)를 정렬한다.
• 소프트맥스 교차 엔트로피 손실과 도메인 정렬 손실($\hbar$)을 조합한 공동 손실 함수를 사용하여 도메인 간 클래스 평균 및 공분산의 차이를 최소화한다.
• 유사한 결정 경계를 유지하도록 유도하기 위해, 근접도 손실($\eta \|\mathbf{W} - \mathbf{W}^*\|_F^2$)을 적용한다.
• 클래스별 배치 샘플링을 사용하여 소스 및 타겟 샘플이 동일한 클래스를 공유할 때에만 정렬 손실이 적용되도록 하여 훈련 안정성과 정렬 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 커널 기반 특징 매핑이 표준 CNN에서 사용 가능한 3D 뼈대 시퀀스를 효과적으로 표현할 수 있는가?
• RQ2 겹치는 동작 클래스가 있는 데이터셋 간 지식 전이 시, 두 번째 차수 통계 기반의 지도형 도메인 적응이 액션 인식 성능을 향상시키는가?
• RQ3 소스 및 타겟 데이터셋을 결합했을 때, 제안된 방법이 단순한 파인튜닝보다 어떻게 비교되는가?
• RQ4 하이퍼파라미터 $\sigma_1$, $\sigma_2$, $Z_1$, $Z_2$ 가 모델 성능에 미치는 영향은 무엇인가?
• RQ5 부분적인 클래스 오버랩이 있는 다양한 벤치마크 간에 이 방법이 일반화 가능한가?

주요 결과

• 제안된 커널 특징 매핑 표현은 ResNet-50와 같은 사전 훈련된 CNN을 3D 뼈대 기반 액션 인식에 효과적으로 활용할 수 있도록 한다.
• 이 방법은 NTU RGB+D, UTKinect-Action3D, SBU-Kinect-Interaction의 세 가지 공개 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 클래스별 평균 및 공분산 정렬을 통한 지도형 도메인 적응은 결합된 데이터셋에서의 단순한 파인튜닝보다 유의미하게 뛰어난 성능을 보인다.
• 제거 실험 결과, 정렬 손실 $\hbar$ 는 성능 향상에 핵심적인 역할을 하며, UTK 데이터셋에서 최적의 하이퍼파라미터는 $\sigma_1 = 0.6$, $\sigma_2 = 0.6$, $Z_1 = 5$, $Z_2 = 15$ 로 확인되었다.
• 제안된 도메인 적응 전략을 사용할 경우, 다양한 데이터셋 간에 높은 정확도를 유지하여 도메인 스피드에 대한 강건성을 입증한다.
• 이 방법은 CNN을 사용하여 3D 뼈대 시퀀스에 대해 지도형 도메인 적응을 성공적으로 적용한 최초의 방법이다. 이는 RNN 또는 LSTM이 아닌 CNN 기반 접근 방식이다.