[論文レビュー] R-CNNs for Pose Estimation and Action Detection

Georgia Gkioxari, Bharath Hariharan+2 more|arXiv (Cornell University)|Jun 19, 2014

Human Pose and Action Recognition参考文献 25被引用数 127

ひとこと要約

本論文は、タスク固有の損失関数を用いて、人物検出、人体ポーズ推定、行動分類を統合的に実行する統一されたR-CNNフレームワークを提案する。検出、キーポイント予測、行動認識の3つのタスクを1つの深層ネットワークで同時に学習させることで、PASCAL VOCにおいて最先端の性能を達成した。行動検出では24.6%のmAP、キーポイント予測では15.5%の平均APを記録し、1回の推論パスで効率的なマルチタスク推論が可能である。

ABSTRACT

We present convolutional neural networks for the tasks of keypoint (pose) prediction and action classification of people in unconstrained images. Our approach involves training an R-CNN detector with loss functions depending on the task being tackled. We evaluate our method on the challenging PASCAL VOC dataset and compare it to previous leading approaches. Our method gives state-of-the-art results for keypoint and action prediction. Additionally, we introduce a new dataset for action detection, the task of simultaneously localizing people and classifying their actions, and present results using our approach.

研究の動機と目的

• 制約のない画像において、人物検出、人体ポーズ推定、行動分類を同時に実行できる深層学習フレームワークの開発を目的とする。
• 従来の手法がテスト時に真値のオブジェクト位置を仮定しているという限界を解消し、実世界の応用に即した現実性を向上させることを目的とする。
• 検出と行動ラベル付けの両方が必要な、真値のバウンディングボックスを含まない新しいベンチマークデータセットの構築を目的とする。
• 共有特徴を用いたマルチタスク学習が、すべての3つのタスクの性能向上をもたらし、推論コストを削減できることを示すこと

提案手法

• 検出、キーポイント予測、行動分類の各タスクに特化した損失関数を用いて、1つの畳み込みニューラルネットワークを学習させることで、R-CNNフレームワークを拡張する。
• マルチタスク損失関数を用いる：$\text{loss} = \lambda_D \text{loss}_D + \lambda_P \text{loss}_P + \lambda_A \text{loss}_A$、ここで$\lambda_A = 2$として、タスク間のデータ不均衡を補正する。
• 領域提案を入力とし、ネットワークはオブジェクトクラス、スコア付きのキーポイント位置、信頼度スコア付きの行動ラベルを予測する。
• ImageNetで事前学習した重みを用いて微調整によりネットワークを学習させ、行動予測にはソフトマックス、アブレーション比較にはfc6特徴量上でSVMを用いる。
• 検出と行動分類の統合学習を目的とした「Detection-Action R-CNN」と、3つのタスクを統合する「Detection-Pose-Action R-CNN」の変種を導入する。
• PASCAL VOC 2012およびPASCAL VOC 2009データセットを用い、標準的なAPメトリクスで性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 1つの深層ニューラルネットワークが、性能向上を図りながら、人物検出、人体ポーズ、行動ラベルを同時に予測できるか？
• RQ2 共有特徴を用いたマルチタスク学習は、単一タスクベースラインと比較して、ポーズ推定および行動分類の性能にどのように影響を与えるか？
• RQ3 ポーズと行動予測の最適化を同時に実行するネットワークでは、検出精度が向上するか？
• RQ4 統一されたフレームワークは、タスク固有のモデルを上回りつつ、推論コストを削減できるか？

主な発見

• Detection-Action R-CNNは、PASCAL VOC 2012の行動検出ベンチマークで24.6%のmAPを達成し、真値のバウンディングボックスを仮定する従来手法を著しく上回った。
• キーポイント予測では、PASCAL VOC 2009 VAL09Bセットで15.5%の平均APを記録し、以前の最先端（SOTA）の12.7%を上回った。
• Detection-Pose-Action R-CNNは、人物検出で56.4%のAP、ポーズ推定で15.5%の平均AP、行動検出で21.6%のmAPを達成し、優れたマルチタスク性能を示した。
• 統合学習されたネットワークは、個々のモデルと比較して最大N倍の高速化が達成され、1枚の画像に対して1回の順伝播で全タスクを処理できる。
• 検出と行動分類の両方を学習したネットワーク（Detection-Action R-CNN）は、検出専用および行動分類専用のモデルを上回る性能を示し、マルチタスク学習の利点を裏付けた。
• 可視化結果から、ネットワークが空間的に整合性のある注目メカニズムを学習していることが示された：『電話をかける』や『写真を撮る』のタスクでは顔領域が優先され、『歩く』や『ジャンプする』のタスクでは全身領域が活用されている。