[論文レビュー] Eigen Evolution Pooling for Human Action Recognition

Yan Wang, Vinh Cao Trần+1 more|arXiv (Cornell University)|Aug 17, 2017

Human Pose and Action Recognition参考文献 33被引用数 6

ひとこと要約

本稿では、主成分分析（PCA）に基づく基底関数を用いて動画シーケンス内の特徴の変化をモデル化する、新しい時系列プーリング手法であるEigen Evolution Pooling（EEP）を提案する。EEPは平均プーリング、マックスプーリング、ランクプーリングを上回り、TSNおよびDense TrajectoryまたはVideoDarwin特徴と組み合わせた際、UCF101で95.8%の精度、Hollywood2で80.5%の平均平均精度（mAP）を達成し、最先端の性能を示した。

ABSTRACT

We introduce Eigen Evolution Pooling, an efficient method to aggregate a sequence of feature vectors. Eigen evolution pooling is designed to produce compact feature representations for a sequence of feature vectors, while maximally preserving as much information about the sequence as possible, especially the temporal evolution of the features over time. Eigen evolution pooling is a general pooling method that can be applied to any sequence of feature vectors, from low-level RGB values to high-level Convolutional Neural Network (CNN) feature vectors. We show that eigen evolution pooling is more effective than average, max, and rank pooling for encoding the dynamics of human actions in video. We demonstrate the power of eigen evolution pooling on UCF101 and Hollywood2 datasets, two human action recognition benchmarks, and achieve state-of-the-art performance.

研究の動機と目的

• 動画内の人体行動の長期的時系列的ダイナミクスを捉えることに失敗する従来のプーリング手法の限界を解決すること。
• 特徴ベクトルのシーケンスを集約するための一般的で効率的かつ情報損失の少ない手法を開発すること。
• PCAに基づく基底関数を用いて時系列にわたる特徴の変化をモデル化することで、行動認識の性能を向上させること。
• EEPの有効性を、UCF101およびHollywood2といったベンチマークデータセットにおいて、特に深層学習特徴と手作業で作成された記述子と組み合わせた場合に示すこと。

提案手法

• EEPは、各特徴次元を時間的に1次元関数として扱い、サンプリングされた特徴ベクトル上のPCA係数を用いてシーケンスを表現する。
• L個の特徴ベクトル（例：L=16または25）を一定間隔でサンプリングし、特徴の変化の主要モードを捉える基底関数をPCAで学習する。
• 得られたPCA係数は、標準的なプーリングよりも時系列的ダイナミクスをより効果的に符号化する、コンactかつ情報豊富な表現（EEP1、EEP2など）を形成する。
• 計算効率と可変長動画への柔軟性を考慮し、基底関数は離散コサイン変換（DCT）を用いて近似可能である。
• EEPは、RGBフレーム（「エイゲン画像」として生成）やTSN特徴などの深層畳み込みニューラルネットワーク（CNN）特徴を含む、任意の特徴ベクトルのシーケンスに適用可能である。
• Temporal Segment Networks（TSN）に統合され、『エイゲンTSN』として、EEPとマックスプーリングを組み合わせた形で性能向上を実現している。

実験結果

リサーチクエスチョン

• RQ1 PCAに基づく基底関数を用いて特徴の時系列的変化をモデル化するプーリング手法は、平均、マックス、ランクプーリングといった標準的手法を上回る性能を示せるか？
• RQ2 特に長期的行動モデリングにおいて、ランクプーリングと比較して、Eigen Evolution Pooling（EEP）はどの程度時系列的ダイナミクスを保持しているか？
• RQ3 EEPは、深層学習特徴（例：TSN）と手作業で作成された記述子（例：DTD、VideoDarwin）を組み合わせた標準ベンチマークでどの程度の性能を示すか？
• RQ4 DCTを用いた近似によって、エイゲン基底関数は性能を維持したまま効果的に近似可能か？

主な発見

• TSNとVideoDarwin特徴と組み合わせたEEPは、UCF101で95.8%の精度、Hollywood2で80.5%の平均平均精度（mAP）を達成し、新たな最先端の性能を記録した。
• EEP（1+2+3成分）とTSN特徴におけるマックスプーリングの組み合わせは、UCF101で94.6%の精度、Hollywood2で75.5%のmAPを達成した。
• Dense Trajectory Descriptors（DTD）と組み合わせたEEPは、UCF101で95.8%の精度、Hollywood2で79.3%のmAPを達成した。
• DCTを用いた近似EEPは、正確なEEPと同等の性能を示し、UCF101（スプリット1）では精度がわずか0.7%低下にとどまった。これにより、実用性が裏付けられた。
• 実験では、ランクプーリングが平均プーリングやマックスプーリングに劣ることが確認されたが、EEPは両方のデータセットで常に3つの手法を上回った。
• 本手法は、RGB（エイゲン画像）や深層畳み込みニューラルネットワーク特徴（例：TSN）など、さまざまな特徴タイプに対して一般性と有効性を示した。