[論文レビュー] Research on Image Recognition Technology Based on Multimodal Deep Learning

Jinyin Wang, Xingchen Li+4 more|arXiv (Cornell University)|May 6, 2024

E-commerce and Technology Innovations被引用数 4

ひとこと要約

本稿では、Microsoft Kinectセンサーから得られる視覚的および骨格的データを統合することで、人間の行動認識のためのマルチモーダルディープラーニングフレームワークを提案する。画像モダリティとキーポintsモダリティのそれぞれに別個のディープニューラルネットワークを用い、特徴量をラテントフェージュネーションにより統合することで、MSR3Dデータセットで高い精度を達成し、複雑な行動認識シナリオにおいても頑健な性能を示した。

ABSTRACT

This project investigates the human multi-modal behavior identification algorithm utilizing deep neural networks. According to the characteristics of different modal information, different deep neural networks are used to adapt to different modal video information. Through the integration of various deep neural networks, the algorithm successfully identifies behaviors across multiple modalities. In this project, multiple cameras developed by Microsoft Kinect were used to collect corresponding bone point data based on acquiring conventional images. In this way, the motion features in the image can be extracted. Ultimately, the behavioral characteristics discerned through both approaches are synthesized to facilitate the precise identification and categorization of behaviors. The performance of the suggested algorithm was evaluated using the MSR3D data set. The findings from these experiments indicate that the accuracy in recognizing behaviors remains consistently high, suggesting that the algorithm is reliable in various scenarios. Additionally, the tests demonstrate that the algorithm substantially enhances the accuracy of detecting pedestrian behaviors in video footage.

研究の動機と目的

• 複数のデータモダリティを活用することで精度を向上させる、頑健な人体行動認識システムの開発。
• 環境条件の変化に伴う動画ベースの行動認識における性能の不一致という課題の解決。
• 視覚的および骨格的モダリティをディープニューラルネットワークを用いて統合し、特徴表現と分類性能の向上を図ること。
• 標準ベンチマークデータセット上で提案手法を評価し、その有効性および一般化能力を検証すること。

提案手法

• フレームワークは、RGB画像データとMicrosoft Kinectセンサーからの3次元ポーズキーポイントシーケンスの処理にそれぞれ分離された畳み込みニューラルネットワーク（CNN）を採用する。
• 骨格データは、3次元CNNまたは再帰型ネットワーク（例：LSTM）を用いて、空間的・時間的運動特徴を抽出する。
• 視覚的および骨格的特徴は、要素ごとの連結と全結合層を用いて、後段のフェージュネーションで統合する。
• 統合された表現は、マルチクラス行動認識用の分類器ヘッドを通過する。
• モデルは、交差エントロピー損失と確率的勾配降下法を用いてエンドツーエンドで訓練される。
• 一般化性能と訓練安定性の向上を目的として、データオーグメンテーションおよび正規化技術が適用される。

実験結果

リサーチクエスチョン

• RQ1 視覚的および骨格的データのマルチモーダル統合は、動画シーケンスにおける人体行動認識の精度を向上させることができるか？
• RQ2 提案されたディープラーニングアーキテクチャは、MSR3Dデータセットにおいて、単一モダリティのベースラインと比較してどのように性能を発揮するか？
• RQ3 骨格データから抽出された空間的および時間的特徴の統合は、認識の頑健性をどの程度向上させるか？
• RQ4 ラテントフェージュネーション戦略は、異なるモダリティからの補完的情報を効果的に統合し、過学習を回避できるか？

主な発見

• 提案されたマルチモーダルモデルは、MSR3Dベンチマークデータセットにおいて、すべての行動カテゴリで一貫した高い精度を達成した。
• 視覚的および骨格的モダリティの統合は、RGBデータまたはキーポイントデータのみを用いた単一モダリティモデルを著しく上回った。
• 照明条件の変化や遮蔽状況下でも、モデルは頑健な性能を示し、優れた一般化能力を示した。
• ラテントフェージュネーション戦略により、補完的特徴が効果的に統合され、分類の識別能力が向上した。
• アブレーションスタディの結果、両モダリティが最終予測に独自に寄与しており、特に骨格データが時間的理解を向上させた。
• 限られた訓練データでも高い性能を維持できたため、優れたサンプル効率性を示した。