[論文レビュー] Expansion-Squeeze-Excitation Fusion Network for Elderly Activity Recognition

Xiangbo Shu, Jiawen Yang+2 more|arXiv (Cornell University)|Dec 21, 2021

Human Pose and Action Recognition被引用数 7

ひとこと要約

本論文は、RGBとスケルトン特徴を統合するためにモダリティおよびチャネル単位の注目メカニズムを学習する、拡張・圧縮・誘発融合ネットワーク（ESE-FN）を提案する。この手法は、大規模なETRI-Activity3Dデータセットにおいて最先端の正確度96.7％を達成し、新規のマルチモーダル損失と二重注目統合戦略により、既存手法を上回る性能を発揮する。

ABSTRACT

This work focuses on the task of elderly activity recognition, which is a challenging task due to the existence of individual actions and human-object interactions in elderly activities. Thus, we attempt to effectively aggregate the discriminative information of actions and interactions from both RGB videos and skeleton sequences by attentively fusing multi-modal features. Recently, some nonlinear multi-modal fusion approaches are proposed by utilizing nonlinear attention mechanism that is extended from Squeeze-and-Excitation Networks (SENet). Inspired by this, we propose a novel Expansion-Squeeze-Excitation Fusion Network (ESE-FN) to effectively address the problem of elderly activity recognition, which learns modal and channel-wise Expansion-Squeeze-Excitation (ESE) attentions for attentively fusing the multi-modal features in the modal and channel-wise ways. Furthermore, we design a new Multi-modal Loss (ML) to keep the consistency between the single-modal features and the fused multi-modal features by adding the penalty of difference between the minimum prediction losses on single modalities and the prediction loss on the fused modality. Finally, we conduct experiments on a largest-scale elderly activity dataset, i.e., ETRI-Activity3D (including 110,000+ videos, and 50+ categories), to demonstrate that the proposed ESE-FN achieves the best accuracy compared with the state-of-the-art methods. In addition, more extensive experimental results show that the proposed ESE-FN is also comparable to the other methods in terms of normal action recognition task.

研究の動機と目的

• 人間と物体の相互作用や低振幅の動きを伴う微細で類似した高齢者の行動を認識する課題に対処すること。
• モダリティ間の判別的時空間パターンを捉えることで、RGB動画とスケルトン系列間の特徴統合を向上させること。
• 相互モダリティおよび相互チャネル依存性をモデル化する学習可能な注目メカニズムを設計し、特徴表現を強化すること。
• 新規のマルチモーダル損失関数を用いて、単一モダリティと統合されたマルチモーダル予測の整合性を保証すること。
• 標準的な通常行動認識ベンチマーク（NTU RGB+D）での評価を通じて汎化性能を検証すること。

提案手法

• RGBとスケルトンモダリティ間の特徴統合を目的とした、モダリティ単位のESE注目（M-ESEA）を提案する。
• 統合特徴内のチャネル単位の依存性をモデル化することで、識別力を向上させるチャネル単位のESE注目（C-ESEA）を導入する。
• 二段階の統合パイプラインを採用：まずM-Netによるモダリティ単位の統合、次にC-Netによるチャネル単位の統合。
• 単一モダリティの予測損失の最小値と統合モダリティの予測損失の差をペナルティ化するマルチモーダル損失（ML）を設計し、整合性を強制する。
• 統合の前段階でRGBおよびスケルトン特徴を独立して抽出する二本のバックボーンネットワークを用いる。
• 拡張および圧縮操作を適用し、局所的およびグローバルな特徴相互作用をモデル化することで、SENetファミリーを拡張し、アップサンプリングおよびダウンサンプリングの挙動を実現する。

Figure 1: Idea of our method for fusing multi-modal features in this work. Our method fuses multi-modal features with the modal and channel-wise Expansion-Squeeze-Excitation (ESE) attentions in the modal and channel-wise ways.

実験結果

リサーチクエスチョン

• RQ1 モダリティおよびチャネル次元の両方で同時に作用する二重注目統合メカニズムは、高齢者の行動認識性能を向上させることができるか？
• RQ2 提案されたマルチモーダル損失は、単一モダリティと統合予測の整合性を維持するためにどの程度効果的か？
• RQ3 ESE-FNは高齢者特化の行動認識を越えて、通常の行動認識タスクにも汎化可能か？
• RQ4 拡張および圧縮操作は、標準的な注目メカニズムと比較して、特徴表現をどの程度向上させるか？
• RQ5 「髪を乾かす」と「髪をとかす」といった視覚的に類似した高齢者の困難な行動に対して、モデルはどの程度の性能を示すか？

主な発見

• ESE-FNはETRI-Activity3Dデータセットにおいて、最先端の正確度96.7％を達成し、既存手法を上回る。
• NTU RGB+Dデータセットにおいて、クロスサブジェクトおよびクロスビューのプロトコルの両方で、最先端手法をそれぞれ0.7％および0.2％上回る。
• NTU RGB+Dにおける混同行列は、60の行動クラスすべてにおいて高い認識正確度を示しており、主対角線が明るくない（軽い）ことで、クラスごとの認識性能が優れていることが示された。
• アブレーションスタディにより、M-ESEAおよびC-ESEAの両コンponentsが性能向上に顕著に寄与していることが確認され、二重注目統合の有効性が裏付けられた。
• 提案されたマルチモーダル損失は、訓練の安定化と一般化性能の向上に効果的に寄与しており、単一モダリティと統合予測の整合性を強制している。
• 「電話をかける」と「スマホで遊ぶ」といった、わずかな手の動きや物体の相互作用の違いしかなく、細分化された類似行動に対しても、モデルは頑健な性能を示した。

Figure 2: Examples of elderly activities. The elderly activities, “Blowing hair” vs “Combing hair”, as well as “Making call” vs “Playing mobile” shows most of similar motions in spatiotemporal space, where only the interacting objects (e.g., comb and blower are marked by yellow circle) are different