[論文レビュー] Towards a generative approach to activity recognition and segmentation.

Hilde Kuehne, T. Serre|arXiv (Cornell University)|Sep 7, 2015

Human Pose and Action Recognition参考文献 31被引用数 3

ひとこと要約

本論文は、縮小されたフィッシャー・ベクトル（FV）と構造的時系列モデルを組み合わせることで、動画アクティビティ認識およびセグメンテーションのエンドツーエンド生成フレームワークを提案する。FVの生成的性質がガウス・ミックスチャネル・モデル（GMM）と組み合わせることで性能が向上し、調理や動物行動動画を含む大規模データセットにおいて、複雑な最先端手法を上回ることを示している。

ABSTRACT

As research on action recognition matures, the focus is gradually shifting away from categorizing manually-segmented clips into basic action units to parsing and understanding long action sequences that make up human daily activities. There is a long history of applying structured models for the analysis of temporal sequences. Yet, while they seem like an obvious choice for the recognition of human activities, they have not quite reached a level of maturity in vision which is comparable to that speech recognition. With the widespread availability of large video datasets, combined with recent progress in the development of compact feature representations, the time seems ripe to revisit structured generative approaches. We propose an end-to-end generative framework which uses reduced Fisher Vectors (FVs) in conjunction with structured temporal models for the segmentation and recognition of video sequences. It shows that the overall generative properties of FVs make them especially suitable for a combination with generative models like Gaussian Mixtures. The proposed approach is extensively evaluated on a variety of action recognition datasets ranging from human cooking activities to animal behavioral analysis. It shows that the architecture, despite its simplicity, it is able to outperform complex state-of-the-art approaches on all larger datasets.

研究の動機と目的

• 基本的なアクションユニット分類を超えて、長時間にわたる未セグメンテーションな人間の行動系列を理解するという増大するニーズに対応する。
• 音声認識分野では成熟しているが、コンピュータビジョン分野ではまだ十分に発展していない構造的生成モデルを再活性化する。
• 大規模な動画データセットとコンパクトな特徴表現を活用して、アクティビティ認識およびセグメンテーションの性能を向上させる。
• フィッシャー・ベクトル（FV）の生成的性質が、ガウス・ミックスチャネル・モデル（GMM）のような生成モデルと組み合わせた場合に特に有効であることを示す。
• 複雑な最先端手法を上回る強力な性能を発揮する、シンプルでエンドツーエンドのアーキテクチャを実現する。

提案手法

• 生成的性質を保持したままコンパクトで識別性の高い動画特徴として、縮小されたフィッシャー・ベクトル（FV）を用いる。
• 時系列モデル（例：隠れマルコフモデルや条件付きランダムフィールド）にFVを統合し、系列モデリングを実現する。
• FV特徴の分布をモデル化するためにガウス・ミックスチャネル・モデル（GMM）を適用し、生成的性質を活用して認識性能を向上させる。
• 特徴表現と時系列構造学習の両方を同時に最適化できるように、エンドツーエンドでシステムを学習する。
• FV符号化により、局所的およびグローバルな動画パターンを捉え、アクティビティの持続時間や外観の変動に対して耐性を高める。
• 状態遷移と観測尤度をモデル化することで、アクティビティのセグメンテーションと認識を同時に実行する時系列モデリングを実装する。

実験結果

リサーチクエスチョン

• RQ1 ガウス・ミックスチャネル・モデル（GMM）と組み合わせた場合、縮小されたFVのようなコンパクトで識別性の高い表現が、動画特徴を効果的にモデル化できるか？
• RQ2 FVの生成的性質が、アクティビティ認識およびセグメンテーションのための構造的時系列モデリングにおいて性能向上に寄与するか？
• RQ3 シンプルでエンドツーエンドの生成的フレームワークが、大規模な動画データセットにおいて、複雑な非生成的最先端手法を上回ることができるか？
• RQ4 提案手法は、人間の調理行動や動物行動分析を含む多様なアクティビティ認識タスクに、どの程度一般化できるか？
• RQ5 縮小されたFVは、正確なアクティビティ認識に必要な識別力を保持しつつ、生成的互換性を維持できるか？

主な発見

• 評価されたすべての大規模データセットにおいて、提案フレームワークは複雑な最先端手法を上回り、優れた一般化性能を示した。
• 生成的性質を持つ縮小されたフィッシャー・ベクトル（FV）は、時系列モデリングにおいてガウス・ミックスチャネル・モデル（GMM）と組み合わせることで、顕著な性能向上をもたらした。
• シンプルなエンドツーエンド生成アーキテクチャでありながら、強力な結果を達成した。これは、生成モデリングが依然として有効で実用的なアプローチであることを示唆している。
• 人間の日常行動（例：調理）や動物行動分析を含む多様な分野にわたり、良好な一般化性能を示した。
• FVと構造的モデルの統合により、長時間の動画シーケンスに対する正確な同時セグメンテーションと認識が可能になった。
• 大規模なデータセットにおいて一貫した性能向上が得られたため、データの複雑さに強く、スケーラブルであることが示された。