[論文レビュー] Beyond Gaussian Pyramid: Multi-skip Feature Stacking for Action Recognition

Zhenzhong Lan, Ming Lin+3 more|arXiv (Cornell University)|Nov 24, 2014

Human Pose and Action Recognition参考文献 8被引用数 21

ひとこと要約

本稿では、複数の時間スキップを伴う微分フィルタからの特徴をスタックすることで、従来のガウスピラミッド手法で失われる低周波数の行動情報の回復を図る、新しい特徴強化技術であるMulti-skIp Feature Stacking (MIFS) を提案する。MIFS は特徴行列の学習可能性を指数関数的に向上させ、条件数と分散を低減し、Hollywood2、UCF101、UCF50 などの行動認識ベンチマークで最先端の性能を達成するとともに、最小限の精度損失で高速な特徴抽出を可能にする。

ABSTRACT

Most state-of-the-art action feature extractors involve differential operators, which act as highpass filters and tend to attenuate low frequency action information. This attenuation introduces bias to the resulting features and generates ill-conditioned feature matrices. The Gaussian Pyramid has been used as a feature enhancing technique that encodes scale-invariant characteristics into the feature space in an attempt to deal with this attenuation. However, at the core of the Gaussian Pyramid is a convolutional smoothing operation, which makes it incapable of generating new features at coarse scales. In order to address this problem, we propose a novel feature enhancing technique called Multi-skIp Feature Stacking (MIFS), which stacks features extracted using a family of differential filters parameterized with multiple time skips and encodes shift-invariance into the frequency space. MIFS compensates for information lost from using differential operators by recapturing information at coarse scales. This recaptured information allows us to match actions at different speeds and ranges of motion. We prove that MIFS enhances the learnability of differential-based features exponentially. The resulting feature matrices from MIFS have much smaller conditional numbers and variances than those from conventional methods. Experimental results show significantly improved performance on challenging action recognition and event detection tasks. Specifically, our method exceeds the state-of-the-arts on Hollywood2, UCF101 and UCF50 datasets and is comparable to state-of-the-arts on HMDB51 and Olympics Sports datasets. MIFS can also be used as a speedup strategy for feature extraction with minimal or no accuracy cost.

研究の動機と目的

• 微分演算子が行動特徴抽出に導入するバイアスと不適切な条件数を是正すること。これにより、低周波数の運動情報が減衰するのを防ぐ。
• 畳み込み平滑化のため、粗いスケールで新しい特徴を生成できないガウスピラミッドの限界を克服すること。
• スケーラブルで普遍的に適用可能な手法を開発し、特徴の学習可能性を向上させるとともに、異なる速度での行動マッチングに適した周波数空間におけるシフト不変性を実現すること。
• 多様なベンチマーク上で MIFS を実証的に検証し、最先端の手法と比較して優れた性能と計算効率を示すこと。

提案手法

• MIFS は、複数の時間スキップ（例：1フレーム目、2フレーム目、3フレーム目ごと）をパラメータに持つ微分フィルタ群から抽出された特徴をスタックすることで、マルチスケール表現を可能にする。
• 複数の時間スケールに跨る特徴の組み合わせにより、周波数ドメインにおけるシフト不変性を導入し、運動速度の変動に対するロバスト性を向上させる。
• 理論的に、MIFS が特徴行列の条件数と分散を低減することで、学習可能性を指数関数的に向上させることを証明する。
• オプティカルフローまたはトラジェクトリーベースの手法を含む、任意の微分に基づく特徴抽出器と互換性があり、後処理の強化レイヤーとして適用可能である。
• MIFS は、例えば2フレーム目や3フレーム目ごとの抽出により、より低いフレームレートで特徴を抽出することで、計算の高速化を実現し、精度損失を最小限に抑える。
• 線形SVMの最適な正則化パrameter（C）の選定には交差検証を用い、性能評価には平均平均精度（MAP）を用いる。

実験結果

リサーチクエスチョン

• RQ1 複数スキップの特徴スタックは、微分演算子によって失われる低周波数運動情報を取り戻すことができ、行動認識のロバスト性を向上させるか？
• RQ2 MIFS は、従来の単一スケール表現と比較して、特徴行列の条件数と分散を顕著に低減するか？
• RQ3 MIFS は、UCF101、Hollywood2、TRECVID MED といった挑戦的な行動認識およびイベント検出ベンチマークで、どの程度性能を向上させるか？
• RQ4 MIFS は、精度を損なわず特徴抽出の高速化戦略として利用可能か？
• RQ5 失われた情報の大部分を回復させるために、どの程度の追加スケール（時間スキップ）が必要か？また、計算コストとのトレードオフはいかなるものか？

主な発見

• MIFS は MEDTEST13 および MEDTEST14 データセットにおいて、それぞれ 36.3% および 29.0% の MAP を達成し、平均平均精度（MAP）で約 2% の向上を示した。
• UCF101 および UCF50 データセットでは、MIFS が最先端の性能を上回り、標準的な行動認識ベンチマークにおける有効性を実証した。
• HMDB51 および Olympics Sports データセットでは、MIFS が最先端の手法と同等の性能を達成し、広範な適用可能性を示した。
• 特徴行列の条件数と分散が顕著に低減されたことから、MIFS が学習可能性における理論的優位性を有していることが確認された。
• 2フレーム目または3フレーム目ごとの特徴（L=1 または L=2-0）のみを用いることで、計算コストを削減しながら、単一パス手法と比較して精度を維持または向上させた。
• 実験から、1〜2つの追加スケールで失われた情報の大部分を回復できることを示し、アクション帯域幅に対して必要なスケール数が対数スケーリングされることを示唆した。