[論文レビュー] Action recognition in still images by latent superpixel classification

Shaukat Abidi, Massimo Piccardi+1 more|arXiv (Cornell University)|Jul 30, 2015

Human Pose and Action Recognition参考文献 14被引用数 3

ひとこと要約

本稿では、スーパピクセルセグメンテーションと潜在的構造的SVMによる潜在的スーパピクセル分類を活用して、静止画像におけるアクション認識のための新規アプローチを提案する。まず、物体に類似する領域（スーパピクセル）を検出しその上に事前学習済みの検出器を適用して特徴量を抽出し、次に構造的グラフィカルモデルを用いてスーパピクセルのクラスとアクションラベルを同時に推論する。この手法により、スタンフォード40アクションデータセットで平均74.06%の正確度を達成した。

ABSTRACT

Action recognition from still images is an important task of computer vision applications such as image annotation, robotic navigation, video surveillance and several others. Existing approaches mainly rely on either bag-of-feature representations or articulated body-part models. However, the relationship between the action and the image segments is still substantially unexplored. For this reason, in this paper we propose to approach action recognition by leveraging an intermediate layer of "superpixels" whose latent classes can act as attributes of the action. In the proposed approach, the action class is predicted by a structural model(learnt by Latent Structural SVM) based on measurements from the image superpixels and their latent classes. Experimental results over the challenging Stanford 40 Actions dataset report a significant average accuracy of 74.06% for the positive class and 88.50% for the negative class, giving evidence to the performance of the proposed approach.

研究の動機と目的

• 既存の手法では未だ十分に検討されていない、静止画像における画像セグメント（スーパピクセル）とアクションクラスの関係を明らかにすること。
• 最終的なアクション予測に情報を与える中間的特徴としてのスーパピクセルクラスをモデル化することで、アクション認識の性能を向上させること。
• 特に監視やロボット工学などの文脈で時間的情報が限られる状況において、1フレームからのアクション認識の課題に取り組むこと。
• スーパピクセル分類とアクション認識を統合するための共同推論フレームワークを構築すること。
• バランスの取れた陽性・陰性クラスの性能を重視して、非常に挑戦的なベンチマークデータセットであるスタンフォード40アクションで手法を評価すること。

提案手法

• 画像がスーパピクセルアルゴリズムを用いて過剰セグメンテーションされ、空間的に一貫性があり均一な領域が作成される。
• 各スーパピクセルに対して23種類の事前学習済みのオブジェクト検出器（例：「顔」「自転車」「電話」）を適用し、検出器スコアのベクトルを測定値として抽出する。
• 完全結合グラフィカルモデルを用いてスーパピクセル間の依存関係をモデル化することで、潜在的構造的SVMフレームワークを用いて、同時にスーパピクセルクラスとグローバルアクションクラスを予測する。
• トレーニング中に正しいアクションクラスの予測を最適化するために、0-1損失関数を用いた損失拡張推論ステップを採用する。
• グラフィカルモデルは3層構造である：入力測定値（検出器スコア）、隠れ状態（スーパピクセルクラス）、出力（アクションクラス）で、すべてのノード間に依存関係が存在する。
• 近似的な推論は、各スーパピクセルのクラスラベルを段階的に最大化するグリーディアルゴリズムにより実行され、アクション予測との整合性を保つ。

実験結果

リサーチクエスチョン

• RQ1 スーパピクセルレベルの潜在的クラスは、静止画像におけるアクション認識のための効果的な中間表現として機能するか？
• RQ2 独立的またはボトムアップ特徴量（bag-of-features）アプローチと比較して、スーパピクセルとアクションの分類を同時にモデル化することで性能がどの程度向上するか？
• RQ3 関連しないデータセットで学習された事前学習済みオブジェクト検出器が、静止画像におけるアクション認識にどの程度一般化可能か？
• RQ4 潜在変数を含む構造的予測モデルを用いることで、細分化された高難易度のアクションデータセットでの認識正確度が向上するか？
• RQ5 陽性クラスと陰性クラスの認識性能の差はどの程度であり、それがモデルのバランスと一般化能力をどのように反映するか？

主な発見

• 提案手法は、スタンフォード40アクションデータセットの全40アクションクラスにおいて、陽性クラスで平均74.06%、陰性クラスで88.50%の正確度を達成した。
• 最近の研究で報告された55.93%の正確度と比較して、本手法は顕著に優れており、非常に挑戦的なベンチマークでの有効性を示している。
• 「ボートを漕る」のような明確に識別可能なアクションでは、陽性サンプルで93%を超える正確度を達成しており、優れた性能を示している。
• 「走る」のような動的なアクションでは陽性正確度が48.99%にとどまり、静止フレームからの動的アクション認識の難しさが浮き彫りになった。
• 高い陰性クラス正確度から、陽性・陰性予測のバランスが良好に保たれており、クラス不均衡に対して頑健であることが示された。
• 微調整なしに、関連のないデータセット（例：顕微鏡、望遠鏡）で学習された検出器を用いても、依然として高い性能を発揮しており、一般化能力の高さが裏付けられた。