[論文レビュー] Actor-Action Semantic Segmentation with Grouping Process Models

Chenliang Xu, Jason J. Corso|arXiv (Cornell University)|Dec 30, 2015

Human Pose and Action Recognition参考文献 39被引用数 5

ひとこと要約

本論文は、階層的スーパーエレメント分解と局所的CRFベースのラベリングを統合することで、アーティスト・アクションの意味的セグメンテーションを向上させる動的グループ化プロセスモデル（GPM）を提案する。セグメントレベルのラベリングとマルチスケールのスーパーエレメントグループ化の間で双方向の情報フローを可能にすることで、A2Dデータセットにおいて最先端手法比で60％の相対的改善を達成し、動的で高次のグループ化の有効性を示している。

ABSTRACT

Actor-action semantic segmentation made an important step toward advanced video understanding problems: what action is happening; who is performing the action; and where is the action in space-time. Current models for this problem are local, based on layered CRFs, and are unable to capture long-ranging interaction of video parts. We propose a new model that combines these local labeling CRFs with a hierarchical supervoxel decomposition. The supervoxels provide cues for possible groupings of nodes, at various scales, in the CRFs to encourage adaptive, high-order groups for more effective labeling. Our model is dynamic and continuously exchanges information during inference: the local CRFs influence what supervoxels in the hierarchy are active, and these active nodes influence the connectivity in the CRF; we hence call it a grouping process model. The experimental results on a recent large-scale video dataset show a large margin of 60% relative improvement over the state of the art, which demonstrates the effectiveness of the dynamic, bidirectional flow between labeling and grouping.

研究の動機と目的

• アーティスト・アクションの意味的セグメンテーションにおける長距離の空間的・時間的相互作用を捉えることができない局所的でレイヤー化されたCRFモデルの限界を解決する。
• アーティスト（空間的）とアクション（空間時間的）のラベリングにおける空間的・時間的粒度の不一致を、異なる抽象レベルでそれらをモデル化することで克服する。
• マルチラベルコストと階層的スーパーエレメントグループ化プロセスを通じて、ビデオレベルの認識信号をセグメントレベルのラベリングに統合する。
• CRFとスーパーエレメント階層の間で反復的フィードバックを実行する双方向推論メカニズムを構築し、ラベリングとグループ化の両方を継続的に最適化する。

提案手法

• ビデオの階層的スーパーエレメント分解を構築し、ラベリング変数のグループ化のためのマルチスケールの空間的・時間的ヒントを提供する。
• セグメントレベルで局所的CRFを用い、ビデオレベルの認識スコアに条件づけられた潜在的関数を用いて、初期のピクセル単位のアーティスト・アクションペアラベリングを実行する。
• CRF出力に基づいて階層内のスーパーエレメントノードを動的に活性化し、妥当なアーティスト・アクション構造を反映する適応的で高次のグループ化を形成する。
• 活性化されたスーパーエレメントノードを用いてCRFの接続性を最適化し、グループ化プロセスがセグメント間の構造的一致性を強制することで、ラベリングに影響を与える。
• ラベリングにはグラフカット、グループ化にはバイナリーライナー・プログラミングを用いた双方向推論ループを実装し、最適化中に継続的な情報交換を可能にする。
• 二種類のスーパーエレメント階層（TSP：時間的空間的分割、GBH：グリーディーなボトムアップ階層）を用い、モデルの頑健性と性能向上を評価する。

実験結果

リサーチクエスチョン

• RQ1 セグメントレベルのラベリングと階層的グループ化の間で動的で双方向の相互作用を実現することで、局所的CRFモデルを上回るアーティスト・アクションの意味的セグメンテーションが可能になるか？
• RQ2 マルチラベルコストを通じてビデオレベルの認識信号を統合することで、複数のアーティストが登場する複雑なビデオにおけるピクセル単位のラベリング精度がどのように向上するか？
• RQ3 マルチスケールのスーパーエレメントグループ化は、空間的・時間的向きが異なるアーティスト・アクションペアの空間時間的構造をどの程度良くモデル化できるか？
• RQ4 提案されたグループ化プロセスモデルは、複雑でマルチラベルのシーンを含む大規模で現実世界のビデオデータセットにおいて、最先端手法を上回る性能を示すか？
• RQ5 異なるスーパーエレメント階層構築手法（TSP対GBH）は、最終的なセグメンテーション性能と頑健性にどのように影響を与えるか？

主な発見

• 提案されたGPM-GBHモデルは、A2Dベンチマークにおいて次善の手法（トリレイヤーモデル）に対して60％の相対的改善を達成し、顕著な性能向上を示した。
• 完全なテストセットにおいて、GPM-GBHはトリレイヤーモデルに比べて平均クラスごとのピクセル正確度が17％高く、グローバルピクセル正確度は10％以上も上回った。
• 単一ラベルのアーティスト・アクションビデオにおいて改善が最も顕著であり、構造モデリングの向上により平均クラスごとの正確度が著しく向上した。
• グループ化プロセスは「dog-crawling」を除くすべてのアーティスト・アクションクラスで性能を向上させ、多様なアクションタイプにわたる一般化された有効性を確認した。
• GBHベースの階層はTSPベースの階層よりもわずかに優れた結果を示し、これは補完的な統合戦略がセグメンテーションの一貫性を向上させるためだと考えられる。
• 可視化比較では、本手法が「ball-rolling」や「adult-crawling」のような複雑なアクションを正しくセグメンテーションしており、曖昧または重複するシーンでもベースラインを上回る性能を示した。