[論文レビュー] Locally-Consistent Deformable Convolution Networks for Fine-Grained Action Detection.

Khoi-Nguyen C. Mac, Dhiraj Joshi+4 more|arXiv (Cornell University)|Nov 21, 2018

Human Pose and Action Recognition参考文献 19被引用数 4

ひとこと要約

本論文では、ピクセル空間ではなく特徴マップ空間における動きのモデリングにより、局所的な一貫性を保った可変畳み込みネットワークを提案する。受容 field の局所的整合性を強制することで、微細な行動検出の性能を向上させる。50 Salads（F1: 80.22%）および GTEA（F1: 75.39%）で最先端性能を達成し、既存の長時間時系列モデリング手法と組み合わせても優れた性能を発揮する。

ABSTRACT

Fine-grained action detection is an important task with numerous applications in robotics and human-computer interaction. Existing methods typically utilize a two-stage approach including extraction of local spatio-temporal features followed by temporal modeling to capture long-term dependencies. While most recent papers have focused on the latter (long-temporal modeling), here, we focus on producing features capable of modeling fine-grained motion more efficiently. We propose a novel locally-consistent deformable convolution, which utilizes the change in receptive fields and enforces a local coherency constraint to capture motion information effectively. Our model jointly learns spatio-temporal features (instead of using independent spatial and temporal streams). The temporal component is learned from the feature space instead of pixel space, e.g. optical flow. The produced features can be flexibly used in conjunction with other long-temporal modeling networks, e.g. ST-CNN, DilatedTCN, and ED-TCN. Overall, our proposed approach robustly outperforms the original long-temporal models on two fine-grained action datasets: 50 Salads and GTEA, achieving F1 scores of 80.22% and 75.39% respectively.

研究の動機と目的

• 分離された空間的・時系列的ストリームに依存する従来の微細な行動検出手法の限界を解消する。これにより、微細な動きの詳細を逃す可能性がある。
• ピクセル空間ではなく特徴表現から直接時系列ダイナミクスを学習することで、微細な動きの特徴表現を向上させる。光流に基づく依存性を回避する。
• 受容 field の変形における局所的一致性を強制し、隣接領域間の動きの一貫性をよりよく捉える。
• ST-CNN、DilatedTCN、ED-TCN などの既存の長時間時系列モデリングネットワークとシームレスに統合可能な柔軟な特徴抽出モジュールを開発する。
• 下流の時系列モデルのアーキテクチャを大幅に見直さずに、ベンチマークとしての微細な行動検出データセットで最先端の性能を達成する。

提案手法

• 特徴マップに基づいて受容 field を動的に調整する、新規の局所的一致性を持つ可変畳み込みを提案する。これにより、局所的な動きパターンへの感受性が向上する。
• 変形オフセットに局所的一致性制約を課し、空間的に隣接する領域が一貫した動き行動を示すようにすることで、特徴の一貫性を向上させる。
• 原始的なピクセルや光流ではなく、特徴表現から直接時系列ダイナミクスを学習することで、動き推定誤差に依存するのを低減する。
• エンド・ツー・エンドで空間的および時系列的特徴の学習を統合的に最適化し、二重ストリームまたは二段階パイプラインの非効率性を回避する。
• 既存の長時間時系列モデリングネットワークと即座に統合可能なプラグアンドプレイなモジュールを設計し、柔軟な統合と性能向上を実現する。
• 特徴空間の変形を活用して微細な動きの変化をモデリングすることで、ネットワークが関連する空間時系列パターンに適応的に注目できるようにする。

実験結果

リサーチクエスチョン

• RQ1 特徴空間における動きのモデリングを改善することで、局所的一致性を持つ可変畳み込みは微細な行動検出を向上させ得るか？
• RQ2 受容 field 変形における局所的一致性を強制することで、より頑健で判別力のある空間時系列特徴が得られるか？
• RQ3 統合的特徴学習アプローチは、分離された空間的・時系列的ストリームアーキテクチャを上回る性能を発揮できるか？
• RQ4 ST-CNN や DilatedTCN などの既存の長時間時系列モデリングネットワークと組み合わせた場合、提案モジュールが性能をどの程度向上できるか？
• RQ5 ピクセル空間ではなく特徴空間から時系列ダイナミクスを学習することで、微細な行動データセットにおける一般化性能が向上するか？

主な発見

• 提案された局所的一致性を持つ可変畳み込みは、50 Salads データセットで F1 スコア 80.22% を達成し、元の長時間時系列モデルを上回る性能を示した。
• GTEA データセットでは F1 スコア 75.39% を達成し、異なる微細な行動ベンチマークで一貫した向上を示した。
• 既存の長時間時系列モデリングネットワークと組み合わせて特徴抽出器として使用した場合、性能が向上した。これは、高い相互運用性と一般化能力を示している。
• 光流推定の誤差を避けるために、ピクセル空間ではなく特徴空間で時系列ダイナミクスを学習することで、より信頼性の高い動きモデリングが可能になった。
• 局所的一致性制約により特徴の一貫性が顕著に向上し、微細な行動クラスに対するより判別力のある表現が得られた。
• 統合的空間時系列特徴学習フレームワークは、精度と効率の両面で、二重ストリームまたは分離された空間時系列処理パイプラインを上回った。