[論文レビュー] Improving Human Activity Recognition Through Ranking and Re-ranking

Zhenzhong Lan, Shoou-I Yu+1 more|arXiv (Cornell University)|Dec 11, 2015

Human Pose and Action Recognition参考文献 29被引用数 5

ひとこと要約

本稿では、人間の行動認識の精度を向上させるために、ランクベースの2つの手法—ランク正規化（RaN）とマルチクラス反復的再順序付け（MIR）—を提案する。RaNは、フィッシャー特徴ベクトルとVLADにおける疎で急激な分布の問題を解消するため、特徴値をそのランクに基づいた正規化に置き換える。一方、MIRはトレーニングを必要とせず、クラス間の関係を活用して予測を再順序付けすることで分類性能を向上させる。両手法を組み合わせたアプローチは、ハリウッド2とオリンピックスポーツを含む6つの実世界データセットで最先端の性能を達成した。ハリウッド2では71.4%の正確度、オリンピックスポーツでは93.6%を記録した。

ABSTRACT

We propose two well-motivated ranking-based methods to enhance the performance of current state-of-the-art human activity recognition systems. First, as an improvement over the classic power normalization method, we propose a parameter-free ranking technique called rank normalization (RaN). RaN normalizes each dimension of the video features to address the sparse and bursty distribution problems of Fisher Vectors and VLAD. Second, inspired by curriculum learning, we introduce a training-free re-ranking technique called multi-class iterative re-ranking (MIR). MIR captures relationships among action classes by separating easy and typical videos from difficult ones and re-ranking the prediction scores of classifiers accordingly. We demonstrate that our methods significantly improve the performance of state-of-the-art motion features on six real-world datasets.

研究の動機と目的

• 動画表現における類似度測定の精度を阻害する、フィッシャー特徴ベクトルとVLADにおける疎で急激な分布の問題に対処する。
• ヒューリスティック的でパラメータに敏感なパワー正規化（PN）の限界を克服し、パラメータフリーで理論的裏付けのある代替手法を導入する。
• 追加のトレーニングを必要とせず、カリキュラム学習の原則に従ってクラス間の関係をモデル化することで分類性能を向上させる。
• 他の行動クラスの予測を活用して、容易なサンプルと困難なサンプルを特定・再重み付けするトレーニングフリーの再順序付け戦略を開発する。
• 行動認識およびマルチメディアイベント検出タスクを含む多様なベンチマークにおいて、提案手法の有効性を実証する。

提案手法

• 各特徴次元の値をデータセット全体におけるランクに置き換えるパラメータフリーな技術、ランク正規化（RaN）を提案する。これにより、疎で急激な分布が効果的に分散される。
• RaNをフィッシャー特徴ベクトルとVLAD表現に適用し、パワー正規化の代わりにランクベースの正規化を用いることで、より高いロバストネスと一般化性能を実現する。
• トレーニングフリーな手法として、マルチクラス反復的再順序付け（MIR）を導入する。他の分類器からの予測を活用してサンプルの難易度を推定し、それに応じて予測を再順序付ける。
• MIRでは、容易で典型的な動画が促進され、困難なサンプルが抑制される。これは、クラス間の予測関係を活用することでカリキュラム学習を模倣する。
• 各分類器の出力が他のクラスの予測の再重み付けを指示する反復的再順序付けプロセスを実装し、全体の順序付け品質を向上させる。
• RaNとMIRを統合したパイプラインを構築し、特徴符号化と分類器出力の両方を向上させる。この統合手法は、IDT、フィッシャー特徴ベクトル、SVMベースのシステムに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 パラメータフリーでランクベースの正規化手法が、フィッシャー特徴ベクトルとVLADにおける疎で急激な分布の緩和においてパワー正規化を上回るか。
• RQ2 クラス間の予測関係に基づくトレーニングフリーの再順序付け戦略が、行動認識性能の向上にどの程度効果的か。
• RQ3 RaNとMIRが、視覚的変動が著しいデータセットを含む、多様で現実世界の行動認識データセットにおいて、どの程度性能を向上させるか。
• RQ4 RaNとMIRの組み合わせが、行動認識およびマルチメディアイベント検出といった異なるタスクにおいて一貫した改善をもたらすか。
• RQ5 MIRが、ベースライン性能が低い状況で失敗または性能を発揮しない条件は何か。

主な発見

• RaNは、ハイパーパramータチューニングを必要とせず、6つの実世界データセットにおいて疎で急激な動画表現の正規化を効果的に行い、性能を著しく向上させる。
• ハリウッド2データセットでは、RaNとMIRの組み合わせが71.4%の正確度を達成し、前回の最先端手法を顕著に上回った。
• オリンピックスポーツデータセットでは、組み合わせ手法が93.6%の正確度に達し、新たな最先端結果を樹立した。
• マルチメディアイベント検出（MED）において、組み合わせ手法はEK100でmAPが約4%、EK10で3%向上させ、困難で複雑なイベント認識タスクにおいても堅牢性を示した。
• MIRは、ベースライン性能が比較的高い場合に最も効果を発揮する。EK10では、性能が低い状況でのカリキュラム推定の不正確さにより、性能が劣化した。
• RaNは、MEDTEST13およびMEDTEST14を含むすべてのデータセットで一貫して性能を向上させ、mAPが3.2～4.3ポイント向上した。これは、一般化能力の高さを裏付ける。