[論文レビュー] Actions and Attributes from Wholes and Parts

Georgia Gkioxari, Ross Girshick+1 more|arXiv (Cornell University)|Dec 8, 2014

Human Pose and Action Recognition参考文献 27被引用数 11

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）特徴量から身体部位（頭部、胴体、脚）を検出する、新しい深層版ポーズレットを用いた、深層部品ベースのアプローチを提案する。ホリスティックなCNNを全身特徴量と部位レベル特徴量の両方で同時に微調整することにより、オラクルボックスをR-CNN検出結果に置き換えた場合でも、PASCAL VOC 2012 動作分類およびBerkeley Attributes of Peopleデータセットで最先端の性能を達成した。これは、深層ホリスティックモデルの進展にもかかわらず、明示的な部位モデリングが依然として有益であることを示している。

ABSTRACT

We investigate the importance of parts for the tasks of action and attribute classification. We develop a part-based approach by leveraging convolutional network features inspired by recent advances in computer vision. Our part detectors are a deep version of poselets and capture parts of the human body under a distinct set of poses. For the tasks of action and attribute classification, we train holistic convolutional neural networks and show that adding parts leads to top-performing results for both tasks. In addition, we demonstrate the effectiveness of our approach when we replace an oracle person detector, as is the default in the current evaluation protocol for both tasks, with a state-of-the-art person detection system.

研究の動機と目的

• 近年のホリスティックCNNの成功を踏まえて、行動および属性分類において部品ベースモデリングが依然として不可欠であるかどうかを明らかにすること。
• 従来のHOG特徴量ではなく、事前学習済みCNNからの高レベル特徴量を入力とする、深層版ポーズレットにインspiredされた部品検出器を考案すること。
• テスト時にオラクルボックスの代わりに最先端の人間検出器を用いた場合の、部位の影響を評価すること。
• 部位による性能向上が部位そのものに起因するのか、それとも先行研究で用いられたホリスティックベースラインの弱さに起因するのかを調査すること。

提案手法

• 事前学習済みCNN（例：CaffeNet）から得られる深層特徴量ピラミッドを用い、従来のHOG特徴量に代わるスライディングウィンドウ検出器を訓練した、深層版ポーズレットを提案する。
• キーポイントをクラスタリングして個別のポーズレットを形成することで、多様なポーズに対しても頭部、胴体、脚の3つの主要な身体部位を検出可能にする。
• 評価プロトコルにおける標準的なオラクルボックスの代わりに、R-CNN人間検出器からの領域提案を入力として使用する。
• 全身と各検出された部位の両方を分類する二本の分類ヘッドを採用し、特徴量を微調整済みCNNに供給する。
• タスク固有の微調整を実施し、インスタンスと部位の両方でCNNを同時に微調整する方法と、インスタンスのみで微調整する方法を比較する。
• 標準ベンチマーク（PASCAL VOC 2012 動作分類およびBerkeley Attributes of People）で平均精度（AP）を評価指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 強力なホリスティックCNNを用いる場合でも、行動および属性分類において部品ベースモデリングが顕著な利点をもたらすのか？
• RQ2 CNN特徴量に基づく深層部品検出器は、座っているまたは立っている脚といった困難な身体部位を、従来のHOGベースのポーズレットよりも効果的に検出できるのか？
• RQ3 評価時にオラクル人間ボックスを最先端のR-CNN検出結果に置き換えた場合、性能はどのように変化するのか？
• RQ4 部位による性能向上は、部位そのものに起因するのか、それとも先行研究で用いられたホリスティックベースラインの弱さに起因するのか？

主な発見

• 本手法は、オラクルボックスの代わりにR-CNN検出結果を用いたPASCAL VOC 2012 動作分類ベンチマークで最先端の性能を達成し、平均APが86.1%に達した。
• Berkeley Attributes of Peopleデータセットでは、共同微調整された16層モデルが89.5%のmAPを達成し、R-CNN検出結果を用いた先行SOTAのPANDAシステム（79.0% mAP）を上回った。
• 部位を含まない16層のホリスティックCNNでも、属性データセットで88.4%のmAPを達成し、PANDAシステムと同等の性能を示した。これは、先行SOTAの向上が主に弱いベースラインに起因していたことを示唆している。
• 深層ネットワークが深くなるにつれて、部位を追加した際の性能向上のマージナルな増加は減少する傾向にあり、ホリスティックモデルが向上するにつれて、明示的な部位モデリングの貢献度が低下する可能性がある。
• オラクルボックスをR-CNN検出結果に置き換えても、性能低下はわずかに抑えられ（例：属性分類でmAPが3.5%低下）、実世界の検出システムを評価に使用することの妥当性が裏付けられた。
• インスタンスと部位の両方でCNNを同時に微調整する方法は、インスタンスのみの微調整よりも優れた性能を示し、特に浅いネットワークでは顕著であった。