[論文レビュー] Tensor Analysis with n-Mode Generalized Difference Subspace

Bernardo B. Gatto, Eulanda M. dos Santos+3 more|arXiv (Cornell University)|Sep 4, 2019

Human Pose and Action Recognition参考文献 64被引用数 4

ひとこと要約

本稿では、多次元データの判別的構造を効果的に活用する新しいテンソルベースの分類手法、nモード一般化差分部分空間（n-mode GDS）を提案する。この手法は、積グラスマン多様体上での多次元代数的構造と判別的部分空間学習を統合し、nモード特異値分解、各モードの重要度を示すnモードフィッシャー得点、および重み付き測地線距離計測法を用いることで、事前学習モデルや転移学習を必要とせずに、アクション認識およびジェスチャー認識で最先端の精度を達成する。

ABSTRACT

The increasing use of multiple sensors, which produce a large amount of multi-dimensional data, requires efficient representation and classification methods. In this paper, we present a new method for multi-dimensional data classification that relies on two premises: 1) multi-dimensional data are usually represented by tensors, since this brings benefits from multilinear algebra and established tensor factorization methods; and 2) multilinear data can be described by a subspace of a vector space. The subspace representation has been employed for pattern-set recognition, and its tensor representation counterpart is also available in the literature. However, traditional methods do not use discriminative information of the tensors, degrading the classification accuracy. In this case, generalized difference subspace (GDS) provides an enhanced subspace representation by reducing data redundancy and revealing discriminative structures. Since GDS does not handle tensor data, we propose a new projection called n-mode GDS, which efficiently handles tensor data. We also introduce the n-mode Fisher score as a class separability index and an improved metric based on the geodesic distance for tensor data similarity. The experimental results on gesture and action recognition show that the proposed method outperforms methods commonly used in the literature without relying on pre-trained models or transfer learning.

研究の動機と目的

• 従来のテンソル分類手法が多次元データ内の判別的構造を十分に活用できないという限界を解決すること。
• 高次元データにおける冗長性を低減し、空間的・時間的関係を維持するテンソル分類フレームワークの開発。
• 積グラスマン多様体上に特化した、幾何学的感度を持つ判別的部分空間学習手法の導入。
• 深層ニューラルネットワークの事前学習に依存しないようにすることで、特徴工学とテンソルの内在的構造を活用し、一般化性能の向上を図ること。
• テンソルモード数に対して線形の計算量を有するスケーラブルなソリューションを提供し、小標本・高次元データセットに適した設計。

提案手法

• テンソルの各モードに一般化差分部分空間（GDS）を適用する投影手法であるnモードGDSを提案。これにより、複数のモードにわたる判別的表現が可能となる。
• 各モード固有の分離性インデックスとしてnモードフィッシャー得点を導入。これにより、各テンソルモードの重要度を自動的に重み付け可能となる。
• 積グラスマン多様体（PGM）上での重み付き測地線距離計測法を用い、テンソル部分空間間の類似度を測定しながら幾何的構造を保持する。
• 各モードを別々に分析できるようにテンソルの展開（マトリシゼーション）を用い、モードごとの処理と部分空間学習を可能にする。
• 事前学習を必要とせず、判別力を高めるために特徴工学手法（HOG、HOF、MBH）とテンソル表現を統合。
• 各テンソルモードから低ランク表現を抽出するためにnモード特異値分解（n-SVD）を適用。これにより冗長性が低減され、内在的構造が保持される。

実験結果

リサーチクエスチョン

• RQ1 一般化差分部分空間アプローチを複数モードを持つテンソルデータに効果的に拡張できるか、分類精度の向上に寄与するか。
• RQ2 複数のテンソルモードにわたる判別的情報を最適に統合することで、分類の分離性を向上させられるか。
• RQ3 提案されたnモードフィッシャー得点が、異なるテンソルモードの相対的重要度を信頼性高くかつ自動的に推定できるか。
• RQ4 積グラスマン多様体上での重み付き測地線距離が、テンソルベース分類における類似度測定を向上させられるか。
• RQ5 深層学習や転移学習に依存せずに、特徴工学による特徴量がテンソル分類の性能向上にどの程度寄与できるか。

主な発見

• n-mode GDS手法は、C3D や2ストリームCNNといった最先端手法を上回り、事前学習モデルを必要とせずにアクション認識およびジェスチャー認識で競争力のある精度を達成した。
• HOG特徴量の導入により、KTHおよびUCF-101データセットの両方でn-mode GDSの精度が約2%向上し、外観特徴の有効性が裏付けられた。
• HOFおよびMBH特徴量を組み込むことで、精度が約7%向上した。これは、提案フレームワークにおける時間的特徴の優位性を示している。
• nモードフィッシャー得点に基づく重み付け戦略により、2つのデータセットでそれぞれ1.5%および2%の性能向上が達成され、より判別的なモードに高い重みが自動的に割り当てられた。
• HOG特徴量を用いた場合、すべての記述子（HOG、HOF、MBH）を組み合わせた際、モード1、2、3の重みはそれぞれ0.32、0.29、0.38となり、最適な性能が得られた。
• 結果から、多様体上での空間的・時間的モードの解釈と、それらの寄与のバランス調整が分類精度を最大化するために不可欠であることが確認された。