[논문 리뷰] Multi-Stage Based Feature Fusion of Multi-Modal Data for Human Activity Recognition

Hyeongju Choi, Apoorva Beedu외 2명|arXiv (Cornell University)|2022. 11. 08.

Human Pose and Action Recognition인용 수 4

한 줄 요약

이 논문은 인간 활동 인식(HAR)을 위해 RGB 비디오와 IMU 센서 데이터를 융합하는 이단계 다중모달 프레임워크를 제안한다. 3D-CNN와 1D-CNN 인코더를 사용한 후 특징 융합 및 분류를 수행하며, UTD-MHAD에서 96.05%의 정확도와 MMAct에서 84.05%의 정확도를 기록하여 단일 모달 기반선보다 각각 22%와 11% 향상되었으며, 저자료 및 제로샷 설정에서도 뛰어난 강건성을 보였다.

ABSTRACT

To properly assist humans in their needs, human activity recognition (HAR) systems need the ability to fuse information from multiple modalities. Our hypothesis is that multimodal sensors, visual and non-visual tend to provide complementary information, addressing the limitations of other modalities. In this work, we propose a multi-modal framework that learns to effectively combine features from RGB Video and IMU sensors, and show its robustness for MMAct and UTD-MHAD datasets. Our model is trained in two-stage, where in the first stage, each input encoder learns to effectively extract features, and in the second stage, learns to combine these individual features. We show significant improvements of 22% and 11% compared to video only and IMU only setup on UTD-MHAD dataset, and 20% and 12% on MMAct datasets. Through extensive experimentation, we show the robustness of our model on zero shot setting, and limited annotated data setting. We further compare with state-of-the-art methods that use more input modalities and show that our method outperforms significantly on the more difficult MMact dataset, and performs comparably in UTD-MHAD dataset.

연구 동기 및 목표

• RGB 비디오와 IMU 센서 모달 간 상보적인 정보를 효과적으로 융합하여 인간 활동 인식(HAR) 정확도를 향상시키는 것.
• 비디오의 가림 현상에 민감하거나 IMU의 신체 자세 의존성 등 단일 모달 시스템의 한계를 다중모달 학습을 통해 해결하는 것.
• 학습 중에 알려지지 않은 동작 클래스가 제외된 저자료 및 제로샷 조건에서도 강력한 성능을 보여주는 것.
• 스켈레톤 데이터와 같은 더 복잡하거나 추가적인 모달을 사용하는 최신 기법들을 능가하기 위해 비디오와 IMU 입력만을 효율적으로 융합하는 데 초점을 맞추는 것.

제안 방법

• 이중 단계 학습 프로세스를 사용한다: 먼저, 각 모달 전용 특징을 학습하는 별도의 인코더(비디오용 3D-CNN, IMU용 1D-CNN)를 적용한다.
• 비디오 모달은 S3D 3D-CNN 아키텍처를 사용하여 인코딩되며, IMU 데이터는 ReLU와 드롭아웃을 포함한 세 개의 연결된 1D-컨볼루션 블록을 통해 처리된다.
• 두 번째 단계에서 두 모달에서 추출된 특징이 연결되고, 최종 동작 분류를 위해 이중층 MLP를 통과한다.
• 모델은 교차 엔트로피 손실을 사용해 엔드 투 엔드로 훈련되며, 특징 학습과 융합의 공동 최적화를 가능하게 한다.
• 스켈레톤 추정의 후처리에 의존하지 않고, 원시 비디오와 IMU 입력을 직접 사용한다.
• 이중 단계 설계 덕분에 융합 이전에 각 모달 인코더가 강력한 표현을 학습할 수 있어 전체 특징 품질 향상에 기여한다.

실험 결과

연구 질문

• RQ1 RGB 비디오와 IMU 데이터를 융합하는 이단계 다중모달 학습 프레임워크가 단일 모달 기반선 대비 인간 활동 인식 정확도를 크게 향상시킬 수 있는가?
• RQ2 학습 중 일부 동작 클래스가 보이지 않는 저자료 및 제로샷 설정에서 제안된 방법의 성능은 어떠한가?
• RQ3 스켈레톤 데이터와 같은 추가 모달을 사용하는 최신 기법들을 능가하는가?
• RQ4 학습 데이터의 25%만 사용할 경우 모델의 성능는 어떻게 되며, 다중모달 학습이 이러한 조건에서도 여전히 이점이 있는가?
• RQ5 IMU 데이터가 특정 동작 클래스를 커버하지 못하지만 비디오 데이터는 이를 포함할 경우, 비디오 데이터가 IMU보다 더 강력한 보완 정보를 제공하는가?

주요 결과

• 제안된 다중모달 모델은 UTD-MHAD 데이터셋에서 96.05%의 정확도를 달성하여 비디오 전용 기반선 대비 22% 향상되고, IMU 전용 기반선 대비 11% 향상되었다.
• MMAct 데이터셋에서는 84.05%의 정확도를 기록하여 비디오 전용 설정 대비 20% 향상되고, IMU 전용 설정 대비 12% 향상되었다.
• 제로샷 설정에서 5개의 동작 클래스가 학습 중 숨겨졌을 경우, 다중모달 모델은 정확도가 단지 10% 감소했고, 단일 모달 설정은 12–14% 감소하여 훨씬 뛰어난 성능을 보였다.
• 학습 데이터의 25%만 사용할 경우, UTD-MHAD와 MMAct 양쪽에서 정확도가 각각 10% 감소하는 것으로 유지되어 자료 부족 상황에서도 강건함을 입증했다.
• IMU 데이터가 특정 동작 클래스를 커버하지 못하지만 비디오 데이터는 이를 포함할 경우, (IMU* + RGB) 다중모달 설정이 (RGB* + IMU)보다 더 높은 성능를 보여 비디오의 더 강력한 보완성임을 확인했다.
• 스켈레톤 추정과 같은 복잡한 후처리를 피하고 두 모달만을 사용함에도 불구하고, VSKD와 HAMLET와 같은 최신 기법들을 능가하거나 동등하게 성능을 내었다.