[論文レビュー] Exploiting Structure Sparsity for Covariance-based Visual Representation

Jianjia Zhang, Lei Wang+2 more|arXiv (Cornell University)|Oct 27, 2016

Domain Adaptation and Few-Shot Learning参考文献 22被引用数 4

ひとこと要約

本論文は、骨格人体動作認識における構造的スパarsityを活用する新しい共分散ベースの視覚的表現であるスパース逆共分散推定（SICE）を提案し、最先端の手法を著しく上回る性能を達成する。SICEの単調性を利用することで、さまざまなスパarsityレベルにおける表現の階層を生成し、適応的学習を用いて統合することで、非線形カーネル手法を用いない状態でも優れた精度を達成する。

ABSTRACT

The past few years have witnessed increasing research interest on covariance-based feature representation. A variety of methods have been proposed to boost its efficacy, with some recent ones resorting to nonlinear kernel technique. Noting that the essence of this feature representation is to characterise the underlying structure of visual features, this paper argues that an equally, if not more, important approach to boosting its efficacy shall be to improve the quality of this characterisation. Following this idea, we propose to exploit the structure sparsity of visual features in skeletal human action recognition, and compute sparse inverse covariance estimate (SICE) as feature representation. We discuss the advantage of this new representation on dealing with small sample, high dimensionality, and modelling capability. Furthermore, utilising the monotonicity property of SICE, we efficiently generate a hierarchy of SICE matrices to characterise the structure of visual features at different sparsity levels, and two discriminative learning algorithms are then developed to adaptively integrate them to perform recognition. As demonstrated by extensive experiments, the proposed representation leads to significantly improved recognition performance over the state-of-the-art comparable methods. In particular, as a method fully based on linear technique, it is comparable or even better than those employing nonlinear kernel technique. This result well demonstrates the value of exploiting structure sparsity for covariance-based feature representation.

研究の動機と目的

• 共分散ベースの視覚的表現の質を向上させることを目的とし、推定の堅牢性にのみ注目するのではなく、潜在的な特徴構造の正確な特徴化に焦点を当てる。
• 骨格人体動作認識や医療画像分野で一般的な小標本・高次元特徴問題に対処すること。
• 特に人体骨格データにおける特徴の既知の構造的スパarsityを、スパース逆共分散推定（SICE）を用いて活用すること。
• 異なるスパarsityレベルにおける複数のSICE行列を統合するための適応的統合手法を開発し、識別性能を向上させること。
• 構造的スパarsityを活用する線形手法が、非線形カーネルベースの手法を上回る、または同等の性能を達成できることを示すこと。

提案手法

• SICE-RPを提案し、特徴構造を標準の共分散行列よりも効果的にモデル化できる、スパース逆共分散推定（SICE）をコアユニットとする新しい視覚的表現を構築する。
• SICEの単調性特性を活用して、複数のスパarsityレベルにおけるSICE行列の階層を効率的に生成し、異なる粒度の構造的関係を捉える。
• 階層的SICE行列の適応的統合を向上させるために、2つの識別的学習アルゴリズム（SICE-RP β および SICE-RP M）を開発する。
• SICEの計算にグループラassoに基づく最適化フレームワークを採用し、高次元・小標本領域におけるスパarsityの促進と推定の不安定性の低減を実現する。
• SICE表現を骨格アクション認識およびfMRIを用いたADHD分類の両方のタスクに適用し、分野を越えた一般化性能を検証する。
• 階層的SICE行列を統合するために、マルチカーネル学習戦略（SICE-RP M）とβ重み付き融合（SICE-RP β）を採用し、識別性能の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 視覚的特徴における構造的スパarsityを活用することで、小標本・高次元環境下でもより堅牢で正確な共分散ベースの表現が得られるか？
• RQ2 SICE-RPは、骨格人体動作認識において、標準の共分散ベース表現や非線形カーネルベース手法を上回るか？
• RQ3 異なるスパarsityレベルにおけるSICE行列の階層的構造を効果的に統合することで、認識性能が向上するか？
• RQ4 本手法は、医療画像解析などの他の高次元・小標本タスクにも一般化可能か？
• RQ5 SICE行列の適応的統合により、最適なスパarsityレベルの手動選択を回避しつつ性能が向上するか？

主な発見

• MSRC-12データセットではSICE-RPが93.3%の精度を達成し、非線形カーネル手法を用いた報告済み最高の93.1%を上回った。
• HDM05（100クラス）ではSICE-RP βが69.3%の精度を記録し、MKLの66.5%およびEMKの68.6%を上回った。
• ADHD-200 fMRIデータセットでは、SICE-RP Mを用いて73.2%の精度を達成し、69.6%の最先端手法を上回り、Cov-RP（55.8%）およびKer-RP-RBF（60.0%未満）をも凌駆した。
• SICE-RP MおよびSICE-RP βによる複数SICE行列の統合は、すべてのデータセットで一貫して性能向上を示し、階層的表現の利点を裏付けた。
• 非線形カーネルベース手法と同等またはそれを上回る競争力ある結果を達成しているにもかかわらず、SICE-RPは完全に線形手法に依存しているため、構造的スパarsityの活用の価値を証明した。
• 本手法は低次元・大標本タスクに対しても良好に一般化され、汎用的表現としての堅牢性と安全性を確認した。