[論文レビュー] 3DV: 3D Dynamic Voxel for Action Recognition in Depth Video

Yancheng Wang, Yang Xiao+5 more|arXiv (Cornell University)|May 12, 2020

Human Pose and Action Recognition参考文献 55被引用数 4

ひとこと要約

本稿では、3Dボクセル化と時間的ランクプールを用いて深度動画からの空間的構造と時空間的運動を符号化する、新規の3Dダイナミックボクセル表現3DVを提案する。PointNet++を用いた効率的なエンドツーエンドの行動認識に適したポイントセットとして3DVをモデル化し、NTU RGB+D 120でクロスサブジェクト設定およびクロスセットアップ設定の下で、それぞれ82.4%および93.5%の精度を達成する。

ABSTRACT

To facilitate depth-based 3D action recognition, 3D dynamic voxel (3DV) is proposed as a novel 3D motion representation. With 3D space voxelization, the key idea of 3DV is to encode 3D motion information within depth video into a regular voxel set (i.e., 3DV) compactly, via temporal rank pooling. Each available 3DV voxel intrinsically involves 3D spatial and motion feature jointly. 3DV is then abstracted as a point set and input into PointNet++ for 3D action recognition, in the end-to-end learning way. The intuition for transferring 3DV into the point set form is that, PointNet++ is lightweight and effective for deep feature learning towards point set. Since 3DV may lose appearance clue, a multi-stream 3D action recognition manner is also proposed to learn motion and appearance feature jointly. To extract richer temporal order information of actions, we also divide the depth video into temporal splits and encode this procedure in 3DV integrally. The extensive experiments on 4 well-established benchmark datasets demonstrate the superiority of our proposition. Impressively, we acquire the accuracy of 82.4% and 93.5% on NTU RGB+D 120 [13] with the cross-subject and crosssetup test setting respectively. 3DV's code is available at https://github.com/3huo/3DV-Action.

研究の動機と目的

• 深度動画における3次元的空間構造と運動パターンを捉えることができない2D運動表現の限界を解消すること。
• 空間的位置と時間的運動順序を統合的に符号化するコンパクトで3次元に適合した運動表現を開発すること。
• 3DVをポイントセットに変換することで、軽量なディープラーニングに適した効率的かつ効果的な3次元行動認識を可能にすること。
• マルチストリーム学習フレームワークを用いて3D運動特徴と深度外観特徴を統合することで、性能を向上させること。
• 時間的スプリットを3DV表現に統合することで、より洗練された行動シーケンスの特徴表現を実現し、時間的モデリングを強化すること。

提案手法

• 各深度フレームを3次元グリッド（例：50×50×50）にボクセル化し、バイナリーオンライングリッドとして表現する。
• 連続する深度フレームに across して時間的ランクプールを適用し、複数のバイナリーボクセル集合の系列を1つの3DV表現に圧縮する。
• 各3DVボクセルは、対応する3次元運動成分の時間的順序を示す運動値を格納し、後段の運動に対して高い値をとる。
• 3DV表現をポイントセットに変換し、各ボクセルを3次元座標と運動値を持つポイントとして扱い、PointNet++の入力に適した形式にする。
• 1つの運動ストリーム（3DV入力）と複数の外観ストリーム（元の深度フレーム）を備えたマルチストリームネットワークを設計し、運動と外観特徴を同時に学習する。
• 深度動画の時間的スプリットを用いて時間的順序モデリングを豊かにし、すべてのスプリットからの運動値を3DV表現に統合する。

実験結果

リサーチクエスチョン

• RQ1 空間的位置と時間的運動順序を統合的に符号化する3D運動表現が、深度動画における3次元行動認識を向上させることができるか？
• RQ2 PointNet++のような軽量なポイントベースのネットワークと組み合わせた場合、3DVがコンパクトで3次元に適合した表現としてどれほど効果的か？
• RQ3 運動特徴と外観特徴を統合することで、運動特徴のみを用いた場合と比較して、認識精度がどの程度向上するか？
• RQ4 3DVボクセルサイズやサンプリングポイント数の違いが、認識性能とモデル効率に与える影響は何か？
• RQ5 時間的スプリットの統合により、複雑な行動シーケンスのモデリングが向上するか？

主な発見

• クロスサブジェクト設定下でNTU RGB+D 120で82.4%の精度を達成し、本ベンチマークで既存手法を上回った。
• NTU RGB+D 120のクロスセットアップ設定では93.5%の精度に達し、優れた一般化能力を示した。
• 最適な3DVボクセルサイズは35×35×35 mmと特定され、クロスサブジェクト設定およびクロスビュー設定でそれぞれ76.9%および92.5%の精度を達成した。
• PointNet++への3DV入力に2048ポイントを使用した場合が最良の性能を示し、クロスサブジェクト設定で76.9%、クロスビュー設定で92.5%の精度を達成した。
• 近似時間的ランクプール手法により、3DV抽出時間を1.12秒から0.10秒に短縮し、精度の低下は最小限（95.8% vs. 95.3%）に抑えられた。
• PointNet++はC3Dを上回る精度と効率性を示した：NTU RGB+D 60（クロスビュー）で90.0% vs. 85.0%、パラメータ数1.24M vs. 29.2M、FLOPs 1.24G vs. 10.99G。