[論文レビュー] Learning Motion in Feature Space: Locally-Consistent Deformable Convolution Networks for Fine-Grained Action Detection

Khoi-Nguyen C. Mac, Dhiraj Joshi+4 more|arXiv (Cornell University)|Nov 21, 2018

Human Pose and Action Recognition参考文献 29被引用数 4

ひとこと要約

本稿では、局所的一貫性を持つ可変畳み込み（LCDC）と呼ばれる、特徴空間における時間的ダイナミクスを学習することで微細な動きをモデル化する、単一ストリームの新規ネットワークを提案する。LCDCは、適応的受容 field の変化を用いて局所的一致性を強制することで、光流に基づくベースラインと比較して顕著に少ないパラメータ数で、50 Salads（F1: 80.22%）および GTEA（F1: 75.39%）で最先端の性能を達成し、ピクセルレベルの動き推定に依存せずに空間的・時間的特徴を統合的に学習することで、二ストリームおよび標準的な可変畳み込み手法を凌駕する。

ABSTRACT

Fine-grained action detection is an important task with numerous applications in robotics and human-computer interaction. Existing methods typically utilize a two-stage approach including extraction of local spatio-temporal features followed by temporal modeling to capture long-term dependencies. While most recent papers have focused on the latter (long-temporal modeling), here, we focus on producing features capable of modeling fine-grained motion more efficiently. We propose a novel locally-consistent deformable convolution, which utilizes the change in receptive fields and enforces a local coherency constraint to capture motion information effectively. Our model jointly learns spatio-temporal features (instead of using independent spatial and temporal streams). The temporal component is learned from the feature space instead of pixel space, e.g. optical flow. The produced features can be flexibly used in conjunction with other long-temporal modeling networks, e.g. ST-CNN, DilatedTCN, and ED-TCN. Overall, our proposed approach robustly outperforms the original long-temporal models on two fine-grained action datasets: 50 Salads and GTEA, achieving F1 scores of 80.22% and 75.39% respectively.

研究の動機と目的

• 微細な動きの違いが、人間ですら行動を区別するのが難しい、微細な行動検出の課題に対処すること。
• 計算コストが高くノイズが多い光流に依存せずに、特徴空間に直接動きをモデル化することで、短期的な空間的・時間的特徴抽出を改善すること。
• 局所的一致性制約を用いた適応的受容 field を備えた、空間的および時間的特徴を同時に学習するコンactな単一ストリームバックボーンネットワークを開発すること。
• 既存の長時間特徴モデリングネットワーク（例：ST-CNN、DilatedTCN、ED-TCN）と組み合わせて性能を向上させる柔軟な特徴抽出器を構築すること。

提案手法

• 標準的な可変畳み込みの拡張として、連続するフレーム間での適応的受容 field の変化を用いて動きをモデル化する、局所的一致性を持つ可変畳み込み（LCDC）を提案する。
• 隣接する空間的位置における動きベクトルの整合性を保つための局所的一致性制約を導入し、冗長なパラメータを削減するとともに、ロバスト性を向上させる。
• ピクセルレベルの光流ではなく、特徴空間における動き表現を用い、すべての可変畳み込み層にわたる動きベクトルの集約として動きエネルギーを計算する。
• 可変畳み込みのオフセットを活用して受容 field を動的に調整し、顕著な領域に注目することで、固定カーネルに比べて動きのパターンをより効率的に捉える。
• 空間的および時間的ストリームを分離せずに、空間的・時間的特徴を統合的に学習する単一ストリームネットワークを設計し、エンド・ツー・エンドの学習を可能にする。
• 局所的一致性制約のおかげで、標準的な可変畳み込みと比較して、変形パラメータの数を36倍削減した、パラメータ効率の高い設計を採用する。

実験結果

リサーチクエスチョン

• RQ1 光流やピクセルレベルの動き推定に依存せずに、適応的受容 field の変化を用いて特徴空間で動きを効果的にモデル化できるか？
• RQ2 可変畳み込みオフセットにおける局所的一致性の制約を強制することで、動きモデルのロバスト性が向上し、パラメータの複雑さが低下するか？
• RQ3 空間的・時間的特徴を統合的に学習する単一ストリームエンド・ツー・エンドネットワークは、二ストリームまたは二段階的手法と比較して、微細な行動検出においてどのように性能を発揮するか？
• RQ4 ST-CNN や TCN といった既存の長時間特徴モデリングネットワークに LCDC 特徴を統合した場合、性能向上はどの程度達成されるか？
• RQ5 局所的一致性制約は、低速度動きまたは高類似性の行動シナリオにおけるモデルの効率性と正確性にどのような影響を与えるか？

主な発見

• LCDC は 50 Salads データセットで F1 スコア 80.22% を達成し、元の ST-CNN ベースラインおよび光流に基づく二ストリームモデルを上回った。
• GTEA データセットでは F1 スコア 75.39% を達成し、多様なエゴセントリック行動データセットにわたる強力な汎化性能を示した。
• 局所的一致性制約のおかげで、標準的な可変畳み込みと比較して、可変畳み込みのパラメータ数を 36 倍削減した。
• 二ストリームベースライン（TwoStreamNet）よりも高い精度を達成しながら、顕著に少ないパラメータ数を用いたため、その効率性と有効性が証明された。
• アブレーションスタディの結果、局所的一致性制約が性能に不可欠であることが確認され、これを除去すると精度が 73.77% から 72.25% に低下した。
• LCDC 特徴は光流がなくても頑健で効果的であり、両方のデータセットで外観のみのベースラインや光流に基づく動きストリームを上回った。