[논문 리뷰] Expansion-Squeeze-Excitation Fusion Network for Elderly Activity Recognition

Xiangbo Shu, Jiawen Yang외 2명|arXiv (Cornell University)|2021. 12. 21.

Human Pose and Action Recognition인용 수 7

한 줄 요약

이 논문은 RGB 및 스켈레톤 특징을 융합하기 위해 모odal 및 채널 기반 주의 메커니즘을 학습하는 확장-압축-주의 융합 네트워크(ESE-FN)를 제안한다. 이 방법은 새로운 다중 모odal 손실과 이중 주의 융합 전략을 통해 대규모 ETRI-Activity3D 데이터셋에서 SOTA 정확도 96.7%를 달성하며, 기존 방법들을 능가한다.

ABSTRACT

This work focuses on the task of elderly activity recognition, which is a challenging task due to the existence of individual actions and human-object interactions in elderly activities. Thus, we attempt to effectively aggregate the discriminative information of actions and interactions from both RGB videos and skeleton sequences by attentively fusing multi-modal features. Recently, some nonlinear multi-modal fusion approaches are proposed by utilizing nonlinear attention mechanism that is extended from Squeeze-and-Excitation Networks (SENet). Inspired by this, we propose a novel Expansion-Squeeze-Excitation Fusion Network (ESE-FN) to effectively address the problem of elderly activity recognition, which learns modal and channel-wise Expansion-Squeeze-Excitation (ESE) attentions for attentively fusing the multi-modal features in the modal and channel-wise ways. Furthermore, we design a new Multi-modal Loss (ML) to keep the consistency between the single-modal features and the fused multi-modal features by adding the penalty of difference between the minimum prediction losses on single modalities and the prediction loss on the fused modality. Finally, we conduct experiments on a largest-scale elderly activity dataset, i.e., ETRI-Activity3D (including 110,000+ videos, and 50+ categories), to demonstrate that the proposed ESE-FN achieves the best accuracy compared with the state-of-the-art methods. In addition, more extensive experimental results show that the proposed ESE-FN is also comparable to the other methods in terms of normal action recognition task.

연구 동기 및 목표

• 인간-물체 상호작용과 저진폭 운동을 포함한 미세하고 유사한 노인의 활동을 인식하는 데 도전하는 것.
• 다양한 모달 간의 구분 가능한 시공간 패턴을 포착하여 RGB 영상과 스켈레톤 시퀀스 간의 특징 융합을 향상시키는 것.
• 다양한 모달 간 및 채널 간의 종속성을 모델링하는 학습 가능한 주의 메커니즘을 설계하여 특징 표현을 향상시키는 것.
• 단일 모달 및 융합된 다중 모달 예측 간 일관성을 확보하기 위해 새로운 다중 모달 손실 함수를 설계하는 것.
• 표준 정상 행동 인식 벤치마크(NTU RGB+D)에서 성능을 평가하여 일반화 능력을 검증하는 것.

제안 방법

• 모달 기반 ESE 주의(M-ESEA)를 통해 RGB와 스켈레톤 모달 간 특징 융합을 위한 이중 주의 메커니즘을 제안한다.
• 융합된 특징 내 채널 간 종속성을 모델링하여 구분 능력을 향상시키기 위해 채널 기반 ESE 주의(C-ESEA)를 도입한다.
• 두 단계 융합 파이프라인을 활용: 먼저 M-Net을 통한 모달 기반 융합, 그 다음 C-Net을 통한 채널 기반 융합.
• 단일 모달 예측 손실의 최소값과 융합 모달의 예측 손실 간 차이를 페널티 처리하는 다중 모달 손실(ML)을 설계하여 일관성을 강제한다.
• 융합 이전에 독립적으로 RGB와 스켈레톤 특징을 추출하기 위해 이중 브랜치 백본 네트워크를 사용한다.
• 확장 및 압축 연산을 적용하여 국소적 및 전역적 특징 상호작용을 모델링하며, SENet 계열을 확장하여 업샘플링 및 다운샘플링 동작을 구현한다.

Figure 1: Idea of our method for fusing multi-modal features in this work. Our method fuses multi-modal features with the modal and channel-wise Expansion-Squeeze-Excitation (ESE) attentions in the modal and channel-wise ways.

실험 결과

연구 질문

• RQ1 모달 및 채널 차원에서 동시에 작동하는 이중 주의 융합 메커니즘이 노인의 활동 인식 성능을 향상시키는가?
• RQ2 제안된 다중 모달 손실은 단일 모달 및 융합 예측 간 일관성을 유지하는 데 얼마나 효과적인가?
• RQ3 ESE-FN은 노인 전용 활동을 초월하여 일반 행동 인식 작업에 일반화되는가?
• RQ4 확장 및 압축 연산은 기존 주의 메커니즘에 비해 특징 표현을 얼마나 향상시키는가?
• RQ5 ‘헤어를 부는 것’과 ‘머리를 빗는 것’처럼 매우 유사한 시각적 활동에 대해 모델은 어떤 성능을 보이는가?

주요 결과

• ESE-FN은 ETRI-Activity3D 데이터셋에서 SOTA 정확도 96.7%를 달성하여 기존 방법들을 능가한다.
• NTU RGB+D 데이터셋에서 Cross-Subject 및 Cross-View 프로토콜 모두에서 SOTA 방법 대비 각각 0.7% 및 0.2% 향상된 성능을 기록한다.
• NTU RGB+D에서의 오차 행렬은 강력한 클래스별 인식 성능을 보이며, 주대각선이 항상 밝지 않아 모든 60개의 행동 클래스에서 높은 인식 정확도를 나타낸다.
• 제거 실험을 통해 M-ESEA 및 C-ESEA 구성 요소가 성능 향상에 기여한다는 것이 확인되어 이중 주의 융합의 효과성을 검증한다.
• 제안된 다중 모달 손실은 단일 모달 및 융합 예측 간 일관성을 강제함으로써 훈련을 안정화시키고 일반화 능력을 향상시킨다.
• ‘전화를 거는 것’과 ‘모바일을 만지는 것’처럼 미세한 손 움직임이나 물체 상호작용의 차이만 있는 미세한 유사 활동에 대해 모델은 뛰어난 내성성을 보였다.

Figure 2: Examples of elderly activities. The elderly activities, “Blowing hair” vs “Combing hair”, as well as “Making call” vs “Playing mobile” shows most of similar motions in spatiotemporal space, where only the interacting objects (e.g., comb and blower are marked by yellow circle) are different