[論文レビュー] Multi-Modality Fusion based on Consensus-Voting and 3D Convolution for Isolated Gesture Recognition

Jiali Duan, Shuai Zhou+3 more|arXiv (Cornell University)|Nov 21, 2016

Hand Gesture Recognition Systems参考文献 36被引用数 33

ひとこと要約

本稿では、RGBおよび深度動画を用いた分離型ジェスチャー認識のためのマルチモダリティ統合フレームワーク、2SCVN-3DDSNを提案する。2SCVNは一貫性投票を用いて長時間の時間的ダイナミクスをモデル化し、3DDSNは深度と顕著性ストリームを統合することで、顕著に精度を向上させる。ChaLearn IsoGDでは67.19%の精度を達成し、前回のSOTAを10.29ポイント上回り、RGBD-HuDaActでは96.74%の精度を達成する。

ABSTRACT

Recently, the popularity of depth-sensors such as Kinect has made depth videos easily available while its advantages have not been fully exploited. This paper investigates, for gesture recognition, to explore the spatial and temporal information complementarily embedded in RGB and depth sequences. We propose a convolutional twostream consensus voting network (2SCVN) which explicitly models both the short-term and long-term structure of the RGB sequences. To alleviate distractions from background, a 3d depth-saliency ConvNet stream (3DDSN) is aggregated in parallel to identify subtle motion characteristics. These two components in an unified framework significantly improve the recognition accuracy. On the challenging Chalearn IsoGD benchmark, our proposed method outperforms the first place on the leader-board by a large margin (10.29%) while also achieving the best result on RGBD-HuDaAct dataset (96.74%). Both quantitative experiments and qualitative analysis shows the effectiveness of our proposed framework and codes will be released to facilitate future research.

研究の動機と目的

• 分離型ジェスチャー認識におけるクラス内・クラス間の変動に起因する推定分散の高い問題に対処すること。
• RGB、光流、深度、顕著性の複数モダリティを効果的に統合できる汎用性の高いフレームワークを構築すること。
• 一貫性投票を用いてジェスチャー系列の短期的および長期的時間的構造をモデル化すること。
• 深度と顕著性モダリティを活用して背景の干渉を低減し、判別性の高い特徴表現を強化すること。
• ChaLearn IsoGD や RGBD-HuDaAct のような困難なベンチマークで優れた性能を達成すること。

提案手法

• 2SCVNネットワークは、動画の異なるセグメントからフレームをサンプリングし、それらの光流場を積み重ねて入力とすることで、一貫性投票を用いて長時間の時間的ダイナミクスをモデル化する。
• 空間ストリームはRGBフレームを処理し、時間ストリームは積み重ねられた光流場を処理し、予測を一貫性投票によって集約することで分散を低減する。
• 3DDSNネットワークは3次元畳み込み層を用いて深度マップと顕著性マップを処理し、空間的・時間的特徴を抽出することで、判別力を強化する。
• 2SCVNおよび3DDSNストリームは特徴空間で早期に統合され、最終分類のためのRGB、フロー、深度、顕著性モダリティを統合する。
• 3次元畳み込みを用いることで空間的・時間的整合性を保持し、複数モダリティ間での特徴表現を向上させる。
• モデルはクロスエントロピー損失を用いてエンドツーエンドで訓練され、推論は両ストリームの予測をラテナル統合することで実行される。

実験結果

リサーチクエスチョン

• RQ1 複数のサンプリングされたセグメントにわたる一貫性投票は、分離型ジェスチャー認識における推定分散を低減できるか？
• RQ2 3次元畳み込みは、深度と顕著性特徴を統合することでジェスチャー認識をどの程度向上できるか？
• RQ3 RGB、光流、深度、顕著性モダリティの組み合わせは、単一モダリティまたは二モダリティアプローチに比べて顕著な性能向上をもたらすか？
• RQ4 提案されたフレームワークはジェスチャー認識を超えて、他の動画認識タスクにも汎用性を示せるか？
• RQ5 各モダリティ（RGB、フロー、深度、顕著性）が最終認識精度に果たす相対的寄与度は何か？

主な発見

• 提案された2SCVN-3DDSNフレームワークは、ChaLearn IsoGDベンチマークで67.19%の精度を達成し、前回のSOTAを10.29ポイント上回った。
• RGBD-HuDaActデータセットでは96.74%の精度を達成し、新たな最先端結果を樹立した。
• 2SCVN-Flowストリーム単体でも58.36%の精度を達成しており、光流による動きモデリングの重要性を示している。
• 3DDSN-Depthおよび3DDSN-Saliencyストリームはそれぞれ54.95%および43.35%の精度を示し、深度と顕著性が強力な補完的信号を提供していることがわかった。
• 2SCVNおよび3DDSNストリームの統合により、2SCVN単体に比べて6%の性能向上が得られ、マルチモダリティ統合の有効性が確認された。
• 定性的な結果では、微細なクラス間差異がある困難なケースでも高い認識精度を示しており、誤分類はわずかに数例にとどまった。