[논문 리뷰] Viewpoint Invariant Action Recognition using RGB-D Videos

Jian Liu, Naveed Akhtar외 1명|UWA Profiles and Research Repository (University of Western Australia)|2017. 09. 15.

Human Pose and Action Recognition참고 문헌 51인용 수 4

한 줄 요약

이 논문은 RGB-D 영상에서 RGB 및 Depth 스트림로부터의 시점에 관계없이 동일한 특징을 추출하는 딥 특징을 융합하여 시점에 관계없는 동작 인식 방법을 제안한다. RGB 밀도 궤적에 비선형 지식 전이를 적용하고, CNN 기반 Depth 특징에 푸리에 시간 피라미드 인코딩을 적용하여, 정확도를 향상시키기 위해 희소-밀도 공동 표현 방식으로 융합한다. 표준 데이터셋에서 최고의 경쟁자 대비 최대 7.7% 높은 정확도를 달성한다.

ABSTRACT

In video-based action recognition, viewpoint variations often pose major challenges because the same actions can appear different from different views. We use the complementary RGB and Depth information from the RGB-D cameras to address this problem. The proposed technique capitalizes on the spatio-temporal information available in the two data streams to the extract action features that are largely insensitive to the viewpoint variations. We use the RGB data to compute dense trajectories that are translated to viewpoint insensitive deep features under a non-linear knowledge transfer model. Similarly, the Depth stream is used to extract CNN-based view invariant features on which Fourier Temporal Pyramid is computed to incorporate the temporal information. The heterogeneous features from the two streams are combined and used as a dictionary to predict the label of the test samples. To that end, we propose a sparse-dense collaborative representation classification scheme that strikes a balance between the discriminative abilities of the dense and the sparse representations of the samples over the extracted heterogeneous dictionary.

연구 동기 및 목표

• 다른 시점에서 동일한 동작의 시각적 외형이 일관되지 않아 성능이 저하되는 영상 기반 동작 인식에서의 시점 변동 문제를 해결한다.
• RGB-D 센서에서의 RGB(외형 및 운동)와 Depth(자세 및 구조) 데이터의 상호보완적 특성을 활용하여 시점 변화에 대한 강건성을 향상시킨다.
• 각 모odal에서 별도로 시점에 관계없는 특징을 추출하여 운동 및 자세 정보가 카메라 각도에 영향을 받지 않도록 보장한다.
• RGB 및 Depth 스트림의 이질적 특징 융합을 통해 분류 능력을 향상시키면서도 시점에 관계없는 특성을 유지한다.
• 희소 및 밀도 표현의 강점을 균형 있게 활용하여 최적의 분류 성능을 달성하는 새로운 희소-밀도 공동 표현 분류 기법을 제안한다.

제안 방법

• RGB 영상 프레임에서 밀도 궤적을 추출하여 운동 및 시간적 동역학을 인코딩하고, Caffe를 사용해 처음부터 학습한 비선형 지식 전이 모델을 적용하여 이를 시점에 관계없는 딥 특징으로 변환한다.
• Depth 데이터에 대해 미리 훈련된 CNN 기반 인간 자세 모델(HPM)을 사용하여 시점 변화에 강건한 외형 특징을 추출하며, 인간의 몸체 구조와 자세에 집중한다.
• CNN 처리된 Depth 특징에 푸리에 시간 피라미드(FTP) 인코딩을 적용하여 장거리 시간적 의존성을 모델링하고 스펙트럴-시간 표현을 향상시킨다.
• 최종적으로 도출된 RGB 및 Depth 특징을 정규화하고 연결하여 이질적인 동작 표현 사전를 구성한다.
• 융합된 사전에 대해 희소 및 밀도 공동 표현의 볼록 조합을 구현하여 테스트 샘플을 분류하며, 분류 능력과 강건성을 균형 잡는다.
• Caffe 딥 러닝 프레임워크를 사용해 지식 전이를 위한 딥 네트워크를 엔드 투 엔드로 훈련하며, 사전 훈련된 ImageNet 가중치를 사용하지 않는다.

실험 결과

연구 질문

• RQ1 RGB 및 Depth 스트림을 공동으로 처리할 경우 단일 모odal 데이터를 사용하는 것보다 시점에 관계없는 동작 인식에서 성능 향상이 이루어지는가?
• RQ2 RGB 영상의 밀도 궤적에서 비선형 지식 전이가 시점에 민감하지 않은 특징을 얼마나 잘 생성하는가?
• RQ3 CNN 기반 인간 자세 특징과 푸리에 시간 피라미드 인코딩의 조합이 Depth 데이터에서 시간적 동역학을 얼마나 효과적으로 포착하는가?
• RQ4 이질적 RGB-D 특징 융합의 맥락에서, 희소-밀도 공동 표현 분류 기법이 순수히 희소 또는 밀도 표현보다 우수한 성능을 내는가?
• RQ5 제안된 방법이 교차 주체 및 교차 시점 평가 프로토콜 하에서 다중 시점 RGB-D 동작 인식 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 교차 시점 평가에서 UCF-101-24 데이터셋에서 92.9%의 정확도를 달성하여 최고의 경쟁자 대비 7.7% 포인트 높은 성능을 기록했다.
• NTU RGB+D 데이터셋에서 교차 시점 프로토콜에서 84.5%의 정확도를 기록하여 DSSCA-SSLM 기반선(74.9%)을 9.6% 포인트 초월했다.
• HDM05 데이터셋에서 교차 시점 평가에서 82.7%의 정확도를 달성하여 다양한 데이터셋에서 일관된 성능을 보였다.
• 희소-밀도 공동 표현 기법은 분류 능력과 강건성을 효과적으로 균형 잡아 시점 변화에 대한 일반화 능력을 향상시켰다.
• RGB 및 Depth 스트림의 시점에 관계없는 특징 융합은 성능 향상에 기여하여 두 모odal의 상호보완적 성질을 입증했다.
• 제거 실험 결과, 제안된 특징 추출 및 융합 파이프라인의 구성 요소가 필수적임을 확인하였으며, 어떤 요소라도 제거할 경우 성능 저하가 뚜렷하게 발생했다.