[논문 리뷰] Cooperative Training of Deep Aggregation Networks for RGB-D Action Recognition

Pichao Wang, Wanqing Li외 3명|arXiv (Cornell University)|2017. 12. 05.

Human Pose and Action Recognition인용 수 42

한 줄 요약

이 논문은 RGB와 깊이 특징을 단일 딥 네ural 네트워크에서 공동 최적화하는 협동 학습 프레임워크인 c-ConvNet을 제안한다. 소프트맥스 손실과 내모달리티 및 크로스모달리티 트리플릿 랭킹 손실을 조합하여 특징의 판별력을 향상시키고 모달리티 간 차이를 줄이며, NTU RGB+D 및 ChaLearn LAP IsoGD를 포함한 세 가지 벤치마크 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

A novel deep neural network training paradigm that exploits the conjoint information in multiple heterogeneous sources is proposed. Specifically, in a RGB-D based action recognition task, it cooperatively trains a single convolutional neural network (named c-ConvNet) on both RGB visual features and depth features, and deeply aggregates the two kinds of features for action recognition. Differently from the conventional ConvNet that learns the deep separable features for homogeneous modality-based classification with only one softmax loss function, the c-ConvNet enhances the discriminative power of the deeply learned features and weakens the undesired modality discrepancy by jointly optimizing a ranking loss and a softmax loss for both homogeneous and heterogeneous modalities. The ranking loss consists of intra-modality and cross-modality triplet losses, and it reduces both the intra-modality and cross-modality feature variations. Furthermore, the correlations between RGB and depth data are embedded in the c-ConvNet, and can be retrieved by either of the modalities and contribute to the recognition in the case even only one of the modalities is available. The proposed method was extensively evaluated on two large RGB-D action recognition datasets, ChaLearn LAP IsoGD and NTU RGB+D datasets, and one small dataset, SYSU 3D HOI, and achieved state-of-the-art results.

연구 동기 및 목표

• 행동 인식에서 RGB와 깊이 특징 간의 모달리티 간 차이 문제를 해결하기 위해.
• 이질적인 모달리티에서 학습된 딥 특징의 판별력을 향상시키기 위해.
• 독립적인 처리 채널 없이 단일 네트워크에서 RGB와 깊이 입력을 협동적으로 학습할 수 있도록 하기 위해.
• 하나의 모달리티만 이용 가능한 경우에도 유용한 임베딩을 통해 크로스모달 상관관계를 통합하여 인식 정확도를 향상시키기 위해.
• 동적 이미지 표현과 사전 훈련된 ImageNet 모델을 활용해 소규모 데이터셋에서 효과적인 미세조정을 가능하게 하기 위해.

제안 방법

• RGB 및 깊이 비디오 시퀀스를 동적 이미지(VDI 및 DDI)로 유지하는 스파티오타임스트럭처를 보존하기 위해 랭킹 풀링을 사용한다.
• 공유된 c-ConvNet 아키텍처가 단일 네트워크 내에서 RGB 시각적 동적 이미지(VDI)와 깊이 동적 이미지(DDI)를 모두 처리한다.
• 분류를 위한 소프트맥스 손실과 특징 변동을 줄이기 위한 다중 구성 요소 랭킹 손실을 함께 훈련한다.
• 랭킹 손실은 내모달리티 트리플릿 손실(_RGB 또는 깊이 내부_)과 크로스모달리티 트리플릿 손실(_RGB와 깊이 간_)으로 구성되어 모달리티 특화 및 크로스모달리티 변동을 최소화한다.
• 랭킹 손실과 소프트맥스 손실의 가중 조합을 최적화하며, 이는 하이퍼파ram터 λ로 제어된다.
• 최종 정확도 향상을 위해 추론 단계에서 4채널 동적 이미지(DDIf, VDIf, DDIb, VDIb)의 예측을 결합하는 제품 스코어 융합 전략을 적용한다.

실험 결과

연구 질문

• RQ1 단일 딥 네ural 네트워크가 독립적으로 처리하는 것보다 RGB와 깊이 모달리티를 협동적으로 효과적으로 학습할 수 있는가?
• RQ2 공동 훈련 중에 RGB와 깊이 특징 간의 모달리티 간 차이를 최소화하여 일반화 성능을 향상시킬 수 있는가?
• RQ3 공유 네트워크에 얼마나 깊이까지 크로스모달 상관관계를 통합할 수 있는가? 이는 다른 모달리티가 없는 경우에도 한 모달리티가 인식을 지원할 수 있도록 한다.
• RQ4 소프트맥스 손실과 다수 수준의 트리플릿 랭킹 손실을 공동 최적화하는 것이 기존의 단일 손실 훈련보다 더 판별력 있는 특징을 생성하는가?
• RQ5 트리플릿 손실의 마진 α와 내모달리티 및 크로스모달리티 손실 간 가중치 λ와 같은 핵심 하이퍼파ram터에 대해 성능이 얼마나 민감한가?

주요 결과

• NTU RGB+D 데이터셋(크로스-서브젝트 설정)에서 제안된 방법은 제품 스코어 융합을 사용해 89.08%의 정확도를 달성했으며, 평균 및 최대 융합 방법을 능가했다.
• ChaLearn LAP IsoGD 데이터셋에서 방법은 제품 스코어 융합을 사용해 44.80%의 정확도를 기록했으며, 평균(43.48%) 및 최대(42.01%) 융합보다 뚜렷하게 뛰어났다.
• 소규모 SYSU 3D HOI 데이터셋에서 방법은 제품 스코어 융합을 사용해 98.33%의 정확도를 달성했으며, 제한된 데이터에서도 효과적임을 입증했다.
• NTU RGB+D에서 트리플릿 손실의 최적 마진 α는 0.1로 확인되었고, LAP IsoGD에서는 0.2였으며, 높은 값은 정확도 급격한 하락을 유발했다.
• 내모달리티 및 크로스모달리티 트리플릿 손실 간 가중치 λ는 중간 정도의 영향을 미쳤으며, 높은 값(예: λ=5)은 LAP IsoGD와 같이 도전적인 데이터셋에서 성능 향상을 이끌었다.
• 모든 세 데이터셋에서 최신 기준 성능을 달성하여, 공동 훈련과 공동 손실 최적화의 효과성을 확인했다.