[論文レビュー] Multiple Riemannian Manifold-valued Descriptors based Image Set Classification with Multi-Kernel Metric Learning

Rui Wang, Xiao‐Jun Wu+1 more|View|Aug 6, 2019

Face and Expression Recognition被引用数 4

ひとこと要約

本稿では、多様体上の共分散行列、線形部分空間、ガウス分布を用いて画像集合を統合的にモデル化する、多幾何的画像集合分類手法を提案する。リーマン計量カーネルを用いてこれらの異種特徴をヒルバート空間にマッピングし、多カーネルメトリック学習フレームワークによりそれらを低次元の判別的部分空間に埋め込むことで、4つの動画ベース分類タスクで最先端の性能を達成した。これは、多様体特徴の補完的価値を示している。

ABSTRACT

The importance of wild video based image set recognition is becoming monotonically increasing. However, the contents of these collected videos are often complicated, and how to efficiently perform set modeling and feature extraction is a big challenge for set-based classification algorithms. In recent years, some proposed image set classification methods have made a considerable advance by modeling the original image set with covariance matrix, linear subspace, or Gaussian distribution. As a matter of fact, most of them just adopt a single geometric model to describe each given image set, which may lose some other useful information for classification. To tackle this problem, we propose a novel algorithm to model each image set from a multi-geometric perspective. Specifically, the covariance matrix, linear subspace, and Gaussian distribution are applied for set representation simultaneously. In order to fuse these multiple heterogeneous Riemannian manifoldvalued features, the well-equipped Riemannian kernel functions are first utilized to map them into high dimensional Hilbert spaces. Then, a multi-kernel metric learning framework is devised to embed the learned hybrid kernels into a lower dimensional common subspace for classification. We conduct experiments on four widely used datasets corresponding to four different classification tasks: video-based face recognition, set-based object categorization, video-based emotion recognition, and dynamic scene classification, to evaluate the classification performance of the proposed algorithm. Extensive experimental results justify its superiority over the state-of-the-art.

研究の動機と目的

• 画像集合分類における単一幾何構造モデルの限界を是正し、多様体構造の多様な性質から得られる補完的情報を無視しないようにすること。
• 共分散行列、部分空間、ガウス分布から導出される複数のリーマン多様体値特徴を統合することで、動画ベース認識の耐障害性と判別性能を向上させること。
• カーネルマッピングとメトリック学習を用いて、異種リーマン特徴を効果的に統合する統一フレームワークを構築し、分類性能を向上させること。
• 多様な動画ベース分類ベンチマークにおいて、単一幾何アプローチと比較して多幾何的表現の優位性を検証すること。

提案手法

• 各画像集合を3つの異なるリーマン多様体値特徴としてモデル化する：対称正定値（SPD）行列（共分散）、グラスマン多様体（線形部分空間）、ガウス分布（ガウス埋め込み多様体）。
• 既に確立されたリーマンカーネル関数を用いて、異種多様体値特徴を高次元ヒルバート空間にマッピングし、内在する幾何的構造を保持する。
• 複数のリーマンカーネルを組み合わせることで、共通の低次元ユークリッド部分空間を学習する多カーネルメトリック学習フレームワークを設計し、効果的な分類を可能にする。
• 反復的最適化戦略を用いて、変換行列、カーネル重み、正則化パラメータを同時に学習し、AFEWおよびYTCデータセットで収束を経験的に検証する。
• 部分空間学習にはトレース比最適化を、カーネル重みの更新には勾配上昇法を採用し、目的関数の安定収束を保証する。
• アブレーションを通じて最終特徴次元 $d_w$ を設定し、判別性能と冗長性のバランスを取る最適値（例：MDSDでは25、YTCでは70）を同定する。

実験結果

リサーチクエスチョン

• RQ1 SPD、グラスマン、ガウスの3つのリーマン多様体値特徴を統合することで、単一幾何アプローチに比べて画像集合分類性能が向上するか？
• RQ2 リーマンカーネルは、異種多様体特徴を共通のヒルバート空間に効果的にマッピングできるか？
• RQ3 共通部分空間における多カーネルメトリック学習は、単一カーネルまたはユークリッドベース手法に比べ、より優れた一般化性能と判別能力を示すか？
• RQ4 埋め込み部分空間の次元 $d_w$ は、特徴の豊かさと冗長性のバランスを取るために最適な値は何か？
• RQ5 本手法は、多様な動画ベース分類タスクにおいて、最先端手法と比較して優れているか？

主な発見

• 提案手法は、4つのベンチマークデータセット（AFEW：動画ベース顔認識、YTC：セットベース物体分類、MDSD：動画ベース感情認識、ETH-80：動的シーン分類）で最先端の性能を達成した。
• SPD、グラスマン、ガウスの複数リーマン特徴の統合は、いずれかの単一特徴に比べて顕著に分類精度を向上させ、それらが補完的であることを確認した。
• MDSDデータセットでは、最適な $d_w = 25$ が最高の認識率を達成したが、より高い次元（例：91）では性能が5.13%に低下し、高次元での冗長性が生じることを示した。
• YTCデータセットでは、$d_w = 70$ が最良の性能を示し、次元を141に引き上げると性能が72.22%に低下した。これにより、次元と判別品質のトレードオフが明確に確認された。
• 目的関数は複数反復後に安定収束し、40反復後にはAFEWで0.8398、YTCで0.9207に安定した。これは、最適化の堅牢な挙動を示している。
• 経験的結果から、多カーネルメトリック学習フレームワークが異種リーマン特徴を効果的に統合でき、従来のユークリッド的および単一幾何的手法を上回ることを確認した。