[論文レビュー] Human Action Recognition with Multi-Laplacian Graph Convolutional Networks

Ahmed Cherif Mazari, Hichem Sahbi|arXiv (Cornell University)|Oct 15, 2019

Human Pose and Action Recognition参考文献 103被引用数 4

ひとこと要約

本稿では、異なるグラフトポロジーに適した基本的なラプラシアンの凸結合としてラプラシアンを学習することにより、人間の行動認識のためのマルチ・ラプラシアン・グラフ畳み込みネットワーク（MLGCN）を提案する。特徴表現を向上させるためのコンテキストに配慮した2段階のプーリング機構を採用し、SBUおよびUCF-101データセットで最先端の性能を達成した。ベクトルモデルとのラテナル融合を用いた場合、SBUでは98.60%、UCF-101では63.27%の精度を達成した。

ABSTRACT

Convolutional neural networks are nowadays witnessing a major success in different pattern recognition problems. These learning models were basically designed to handle vectorial data such as images but their extension to non-vectorial and semi-structured data (namely graphs with variable sizes, topology, etc.) remains a major challenge, though a few interesting solutions are currently emerging. In this paper, we introduce MLGCN; a novel spectral Multi-Laplacian Graph Convolutional Network. The main contribution of this method resides in a new design principle that learns graph-laplacians as convex combinations of other elementary laplacians each one dedicated to a particular topology of the input graphs. We also introduce a novel pooling operator, on graphs, that proceeds in two steps: context-dependent node expansion is achieved, followed by a global average pooling; the strength of this two-step process resides in its ability to preserve the discrimination power of nodes while achieving permutation invariance. Experiments conducted on SBU and UCF-101 datasets, show the validity of our method for the challenging task of action recognition.

研究の動機と目的

• 変動サイズで、多様な空間的・時間的トポロジーを持つ、半構造的で固定トポロジーのグラフ畳み込みネットワークの限界を解消する。
• ノードの順序に依存しないプーリング機構を設計することで、グラフベースの行動認識における順列感受性の課題を克服する。
• 異なるグラフ構成に適した複数のラプラシアン作用素を動的に組み合わせることで、グラフ構造の行動データにおける表現学習を向上させる。
• 標準ベンチマークデータセット上で、グラフベースおよびベクトルベースのディープラーニングベースラインと比較して、提案手法の有効性と相乗効果を実証する。

提案手法

• 特定のグラフトポロジーに特化した複数の基本的ラプラシアンの凸結合として合成ラプラシアンを学習する、新しいスペクトル的GCNフレームワークを提案する。
• 各基本的ラプラシアンは、異なるグラフ構造（例えば、関節の近接性、時間的連続性、幾何的配置など）に基づいて導出され、複雑な人間の運動パターンの適応的モデリングを可能にする。
• 2段階のプーリング演算子を導入する：まず隣接ノードからのコンテキスト情報を用いてノード特徴を拡張し、次にグローバル平均プーリングを適用することで、判別力の維持と順列不変性の両立を実現する。
• メッセージパッシング中に各基本的ラプラシアンの寄与度を動的に重みづけられる学習可能な注目メカニズムを導入し、トポロジーの変動に対するロバストネスを向上させる。
• 骨格シーケンスの時間的チャンク分割を採用することで、長距離依存性のモデリングを改善し、特に複雑な行動ダイナミクスの捉え込みに有効である。
• クロスエントロピー損失とReLUまたはLeaky ReLU活性化関数を用いて、エンド・ツー・エンドでモデルを訓練し、SBUおよびUCF-101における標準的な行動認識指標を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 変動トポロジーを持つグラフにおける人間の行動認識のためのGCNの表現能力を、マルチ・ラプラシアン設計が向上させられるか？
• RQ2 コンテキストに配慮した2段階のプーリング機構は、グラフベースの行動認識において特徴の判別力を向上させるとともに、順列不変性を維持できるか？
• RQ3 提案手法MLGCNは、SBUおよびUCF-101などの標準ベンチマーク上で、最先端のベクトルベースおよびグラフベースのモデルと比較して、どのように性能を発揮するか？
• RQ4 特にオクルージョンや背景のごみがあるような困難な状況において、MLGCNは既存のディープラーニングモデルとラテナル融合によってどの程度相乗効果を発揮できるか？
• RQ5 異なるノード特徴表現（例えば、関節座標、方向、距離）が、提案されたMLGCNフレームワークの性能に与える影響は何か？

主な発見

• 提案されたMLGCNは、SBUスケルトンデータセットで98.60%の精度を達成し、3D CNNとのラテナル融合を含む、すべてのベースラインのグラフベースおよびベクトルベースの手法を上回った。
• UCF-101データセットでは、最良の設定で63.27%の精度を達成し、複雑な背景のノイズや変動するカメラモーションが存在する状況でも強力な性能を示した。
• アブレーションスタディにより、提案された2段階プーリング機構（コンテキスト拡張 + グローバル平均プーリング）が、標準的なグローバルプーリングや特徴伝搬のみの手法よりも顕著に性能を向上させることを確認した。
• 凸結合による複数のラプラシアンの使用は、単一ラプラシアンベースラインと比較して2.0–3.0%の精度向上をもたらし、トポロジーへの適応性の利点を裏付けた。
• MLGCNと3D CNNのラテナル融合により、UCF-101で追加で1.5–2.0%の向上が得られ、ベクトルモデルとの相乗効果を確認した。
• 本手法は、さまざまなノード特徴表現に対してロバストであり、特に関節間距離または方向特徴を用いた場合に最高の性能を発揮し、より豊かな空間的・時間的ダイナミクスを符号化していた。