[論文レビュー] PaStaNet: Toward Human Activity Knowledge Engine

Yong–Lu Li, Liang Xu+8 more|arXiv (Cornell University)|Apr 2, 2020

Human Pose and Action Recognition参考文献 61被引用数 11

ひとこと要約

本論文では、手のひらが何かを保持するといった、細分化された人体部の状態（PaSta）である⟨手, 持つ, 何か⟩のような、大規模な人間行動知識エンジンPaStaNetを紹介する。PaStaNetを事前学習に活用することで、著者らは部分レベルの表現学習のためのActivity2Vecと、部分状態における推論のためのPaSta-Rを提案し、HICO、V-COCO、AVAベンチマークにおいて、教師ありおよび少サンプル転移学習の両方で最先端の性能を達成した。1ショットHICOではmAPが最大13.9%向上した。

ABSTRACT

Existing image-based activity understanding methods mainly adopt direct mapping, i.e. from image to activity concepts, which may encounter performance bottleneck since the huge gap. In light of this, we propose a new path: infer human part states first and then reason out the activities based on part-level semantics. Human Body Part States (PaSta) are fine-grained action semantic tokens, e.g. , which can compose the activities and help us step toward human activity knowledge engine. To fully utilize the power of PaSta, we build a large-scale knowledge base PaStaNet, which contains 7M+ PaSta annotations. And two corresponding models are proposed: first, we design a model named Activity2Vec to extract PaSta features, which aim to be general representations for various activities. Second, we use a PaSta-based Reasoning method to infer activities. Promoted by PaStaNet, our method achieves significant improvements, e.g. 6.4 and 13.9 mAP on full and one-shot sets of HICO in supervised learning, and 3.2 and 4.2 mAP on V-COCO and images-based AVA in transfer learning. Code and data are available at http://hake-mvig.cn/.

研究の動機と目的

• ピixeLと高レベルの行動概念との間の大きな意味的ギャップが、画像ベースの行動理解の性能ボトルネックを引き起こすという問題に対処すること。
• 一般化可能な行動理解の基盤として機能する、人体部の状態（PaSta）に関する大規模かつ細分化された知識ベースを構築すること。
• 部分レベルの意味論と転移学習を活用する再利用可能で解釈可能なフレームワークを開発すること。
• PaStaNetからの知識蒸留を通じて、少サンプルおよびゼロショット設定で顕著なパフォーマンス向上を実現すること。

提案手法

• 118,000枚の画像、285,000人の人物、724,000の行動をカバーする700万件を超える人体部の状態アノテーションを有する大規模な知識ベースPaStaNetを構築する。
• 視覚的特徴とBERTでエンコードされたPaStaトリプレット（部位, 動詞, 目的語）を組み合わせることで、汎用的で部分レベルの意味的表現を抽出するActivity2Vecを設計する。
• 人間インスタンスと部分状態のグラフを構築し、インスタンスレベルと部分レベルのサブグラフ状態を用いて、完全な行動を推論する階層的推論モデルPaSta-Rを提案する。
• PaStaNetを転移学習の事前学習ソースとして活用し、Activity2Vecの重みを固定したまま、ターゲットベンチマークで最終層のみを微調整する。
• 部分レベルの推論とインスタンスレベルの検出を統合するため、最先端のモデルとラテナル融合を適用し、パフォーマンスを向上させる。
• トレーニングにはコサイン減衰付きリスタートとSGDを用い、事前学習と微調整の間にドメインシフトが生じないよう、データの分割を慎重に行う。

実験結果

リサーチクエスチョン

• RQ1 細分化された人間の身体部の状態（PaSta）は、一般化可能な人間行動知識エンジンを構築するための再利用可能で解釈可能な意味的トークンとして機能できるか？
• RQ2 PaStaNetを用いた部分レベルの表現学習は、特に少サンプルまたはゼロショット条件下において、画像ベースの行動理解のパフォーマンスを向上させるか？
• RQ3 PaStaに基づく推論は、正確性、転移性、解釈性の観点から、ピクセルから直接行動へのマッピングを上回るか？
• RQ4 PaStaNetは、ドメインギャップが存在する下流の行動認識タスクの事前学習ソースとしてどれほど効果的か？

主な発見

• 教師あり学習において、PaStaNetはHICO-DETの全セットで6.4 mAPの向上を達成し、1ショットセットでは13.9 mAPの向上を示した。
• 転移学習において、PaStaNetはV-COCOで3.2 mAP、画像ベースのAVAで4.2 mAPの向上を示し、強力な一般化性能を示した。
• アブレーションスタディにより、部分レベルの注釈とBERTでエンコードされたPaSta特徴が重要であることが確認され、部分レベル注釈を除去するとmAPが0.21低下した。
• PaSta-BERTをWord2VecやGloVeに置き換えると性能が低下するが、完全な文を入力とするとわずかに0.14 mAP向上（22.26 mAP）を示した。
• ドメインシフトに対して強いロバストネスを示し、静止画像で学習したにもかかわらず、動画のようなデータでテストした際、HICO-DETで3.25 mAPの向上を達成した。
• PaSta-Rは、インスタンスレベルモデルとラテナル融合しても最先端の結果を達成しており、部分レベルの推論の価値を強力に示している。