[論文レビュー] Cooperative Cross-Stream Network for Discriminative Action Representation

Jingran Zhang, Fumin Shen+2 more|arXiv (Cornell University)|Aug 27, 2019

Human Pose and Action Recognition参考文献 47被引用数 4

ひとこと要約

本稿では、モダリティ補完ブロックとクロスエントロピーおよびモダリティランク付け制約を組み合わせた共同損失関数を用いて、空間的（RGB）および時間的（オプティカルフロー）ストリーム特徴を共同最適化する協調的クロスストリーム（CCS）ネットワークを提案する。この手法は特徴の判別力学習を向上させ、モダリティ間の差を低減し、HMDB-51、UCF-101、Kinetics-S something データセットで最先端の性能を達成する。

ABSTRACT

Spatial and temporal stream model has gained great success in video action recognition. Most existing works pay more attention to designing effective features fusion methods, which train the two-stream model in a separate way. However, it's hard to ensure discriminability and explore complementary information between different streams in existing works. In this work, we propose a novel cooperative cross-stream network that investigates the conjoint information in multiple different modalities. The jointly spatial and temporal stream networks feature extraction is accomplished by an end-to-end learning manner. It extracts this complementary information of different modality from a connection block, which aims at exploring correlations of different stream features. Furthermore, different from the conventional ConvNet that learns the deep separable features with only one cross-entropy loss, our proposed model enhances the discriminative power of the deeply learned features and reduces the undesired modality discrepancy by jointly optimizing a modality ranking constraint and a cross-entropy loss for both homogeneous and heterogeneous modalities. The modality ranking constraint constitutes intra-modality discriminative embedding and inter-modality triplet constraint, and it reduces both the intra-modality and cross-modality feature variations. Experiments on three benchmark datasets demonstrate that by cooperating appearance and motion feature extraction, our method can achieve state-of-the-art or competitive performance compared with existing results.

研究の動機と目的

• 2ストリームネットワークにおける分離学習の限界を解消し、補完的な空間的・時間的情報を活用せず、モダリティ差に苦しむこと。
• モダリティ固有の制約とクロスモダリティ制約を共同最適化することで、深層特徴の判別力を向上させること。
• 新しいランク付け損失を用いて、モダリティ内およびモダリティ間の特徴変動を低減すること。
• 空間的および時間的ストリームを相互に強化しながら、エンドツーエンドの学習を可能にし、'飲む'と'食べる'のような曖昧な行動の分類を改善すること。

提案手法

• RGBおよびオプティカルフロー特徴間のクロスモダリティ相関を明示的にモデル化するための接続ブロックを導入する。
• 同様に、同種および異種モダリティ学習の両方に対して、標準的なクロスエントロピー損失とモダリティランク付け制約を組み合わせた共同損失関数を採用する。
• モダリティランク付け制約には、モダリティ内での判別的埋め込みとモダリティ間のトリプレット損失が含まれ、モダリティ内およびモダリティ間の特徴分散を最小化する。
• HMDB-51で、連結や他の融合戦略よりも優れた性能を示す、クリップレベルスコアの要素ごとの平均によるラテント融合を採用する。
• 特徴抽出のため、ImageNetで事前学習されたBN-Inception、ResNet、VGGなどのバックボーンネットワークを用いる。
• アクティベーションマップ（CAM）を用いて注目領域を可視化し、モデルが手や目などの行動に関連する部位に注目していることを確認する。

実験結果

リサーチクエスチョン

• RQ1 RGBおよびオプティカルフローストリームの共同エンドツーエンド学習は、分離学習と比較して行動認識の精度を向上させることができるか？
• RQ2 外観と動きの特徴の間のモダリティ差をどのように低減することで、特徴の判別性を向上させることができるか？
• RQ3 クロスエントロピーとモダリティランク付けを組み合わせた共同損失は、'飲む'や'食べる'のような曖昧な行動クラスの性能を向上させるか？
• RQ4 精度と頑健性の観点から、2ストリームネットワークのクリップレベルスコアの最適な融合戦略は何か？

主な発見

• 提案されたCCSネットワークは、HMDB-51、UCF-101、Kinetics-S something データセットで最先端または競争力のある性能を達成する。
• クリップスコアの要素ごとの平均融合は、連結や他のラテント融合手法を上回り、HMDB-51で最高の精度を達成する。
• ハイパーパrameter α₁=0.3、α₂=0.3、α₃=0.8 を設定すると、UCF-101で97.4%の最高精度を達成し、収束性と性能の最適なトレードオフを示す。
• UCF-101において、VGG、ResNet、BN-InceptionのうちBN-Inceptionバックボーンが最も優れた性能を示し、提案フレームワークに適していることを示す。
• CAMの可視化により、モデルが手や目などの判別性の高い身体部位に注目していることが確認され、人間の行動関連領域認識と整合する。
• モダリティランク付け制約は、モダリティ内およびモダリティ間の特徴変動を効果的に低減し、一般化性能と頑健性を向上させる。