[논문 리뷰] Deep Multimodal Feature Analysis for Action Recognition in RGB+D Videos

Amir Shahroudy, Tian-Tsong Ng외 2명|arXiv (Cornell University)|2016. 03. 23.

Human Pose and Action Recognition참고 문헌 78인용 수 17

한 줄 요약

이 논문은 깊이 있는 다중모odal 특징 분석 프레임워크인 DSSCA를 제안하며, 스택형 오토인코더 기반 네트워크를 사용해 RGB+D 비디오 특징을 공유(공통) 성분과 모odal별 특화 성분으로 계층적으로 인수분해한다. 또한 혼합-norm 정규화를 사용하는 구조적 스파arsity 학습 기계(SSL)를 도입하여 유의미한 성분을 선택함으로써 분류 성능을 향상시키며, 5개의 RGB+D 행동 인식 벤치마크에서 최신 기술 수준(SOTA)의 정확도를 달성한다. 특히 Online RGBD 데이터셋에서 99.0%의 정확도를 기록하였다.

ABSTRACT

Single modality action recognition on RGB or depth sequences has been extensively explored recently. It is generally accepted that each of these two modalities has different strengths and limitations for the task of action recognition. Therefore, analysis of the RGB+D videos can help us to better study the complementary properties of these two types of modalities and achieve higher levels of performance. In this paper, we propose a new deep autoencoder based shared-specific feature factorization network to separate input multimodal signals into a hierarchy of components. Further, based on the structure of the features, a structured sparsity learning machine is proposed which utilizes mixed norms to apply regularization within components and group selection between them for better classification performance. Our experimental results show the effectiveness of our cross-modality feature analysis framework by achieving state-of-the-art accuracy for action classification on five challenging benchmark datasets.

연구 동기 및 목표

• RGB와 깊이 모달리티 간의 상보적 정보를 활용하여 단일 모달리티 행동 인식의 한계를 해결하기 위해.
• 다중모달 특징을 공유(공통) 성분과 모달리티별 특화 성분으로 계층적으로 분해할 수 있는 딥 신경망을 개발하여 강건성과 분류 능력을 향상시키기 위해.
• 유의미한 성분과 레이어 선택을 가능하게 하는 구조적 스파arsity 기반 학습 기계를 설계하여 분류 성능을 향상시키기 위해.
• 다양한 과도한 RGB+D 행동 인식 데이터셋에서 제안된 프레임워크가 기존 방법들보다 열등하지 않음을 입증하기 위해.

제안 방법

• 각 레이어에서 입력 RGB 및 깊이 특징을 공유 성분과 모달리티별 특화 성분으로 분해하는 깊이 있는 오토인코더 기반의 공유-특화 특징 인수분해 네트워크를 제안한다.
• 엔드 투 엔드 학습을 통해 계층적 비선형 표현을 학습하기 위해 깊이 있는 아키텍처로 네트워크를 스택한다.
• 혼합-norm(예: ℓ2,1)을 사용해 성분 내 정규화 및 성분과 레이어 간 그룹 선택을 적용하는 구조적 스파arsity 학습 기계(SSL)를 도입한다.
• SSLM 분류기는 더 분류 능력이 높은 성분, 예를 들어 깊은 레이어에서의 공유 특징과 모달리티별 특화 특징에 더 높은 가중치를 할당하도록 학습한다.
• 역전파를 사용해 엔드 투 엔드로 프레임워크를 학습하며, 인수분해 및 분류 목표를 함께 최적화한다.
• 로컬 및 힐로지컬 특징(HOG, HOF, HON4D 등)을 RGB 및 깊이 스트림에서 추출한 후 네트워크에 입력한다.

실험 결과

연구 질문

• RQ1 딥 신경망이 계층적 비선형 표현을 유지하면서 다중모달 RGB+D 특징을 공유 성분과 모달리티별 특화 성분으로 효과적으로 인수분해할 수 있는가?
• RQ2 공유 성분과 모달리티별 특화 성분을 모두 포함함으로써 단일 공유 성분 또는 단일 모달리티 특징만을 사용하는 경우보다 더 나은 행동 인식 성능를 달성할 수 있는가?
• RQ3 혼합-norm 정규화를 사용한 구조적 스파arsity 학습 기반 기계가 다양한 레이어 간에 정보성 성분을 선택적으로 융합함으로써 분류 성능 향상에 기여하는가?
• RQ4 제안된 프레임워크는 표준 RGB+D 행동 인식 벤치마크에서 최신 기술 수준 방법들과 비교해 어떻게 성능를 발휘하는가?

주요 결과

• 제안된 DSSCA 프레임워크는 Online RGBD 데이터셋에서 99.0%의 최신 기술 수준 정확도를 달성하여 이전 방법들을 크게 능가하였다.
• MSR Daily Activity 3D 데이터셋에서 96.3%의 정확도를 기록하였으며, 단일 모달리티 기반선(89.4% for RGB, 92.5% for depth)과 다른 다중모달 접근 방식을 모두 초월하였다.
• 구조적 스파arsity 학습 기계(SSL)는 공유 성분(Y³, ℓ2 노름 0.20–0.42)와 모달리티별 특화 성분(Zr³, Zd³)에 높은 가중치를 할당하여 그들의 분류 능력 있는 가치를 확인하였다.
• 기여도 분석 결과 일부 성분은 거의 영향을 미치지 않는 것으로 나타났다(예: Online S3에서 Zd¹의 가중치는 0.00), 이는 데이터에 존재하더라도 행동 분류에 덜 관련이 있음을 시사한다.
• 성능 향상은 깊이 있는 네트워크에서 더 두드러지게 나타났으며, 이는 계층적 특징 분해의 유용성을 입증한다.
• Online RGBD 데이터셋에서 원자적 로컬 수준 분석 대비 오차율 감소율이 50% 이상 높아, 스택형 깊이 인수분해의 우수성을 확인하였다.