[論文レビュー] Group Membership Prediction

Ziming Zhang, Yuting Chen+1 more|arXiv (Cornell University)|Sep 16, 2015

Video Surveillance and Tracking Methods参考文献 20被引用数 11

ひとこと要約

本稿では、複数の画像がキネシップやアイデンティティなどの意味的性質を共有しているかどうかを予測するための、新たな確率的モデル（GMP）を提案する。このモデルは、視覚的外観（視覚的特徴）と、視覚的共有潜在変数（例：身体部位や顔面特徴点）を同時にモデル化することで、グループメンバーシップの尤度をデータに依存しないパラメータとデータに依存する要因のテンソル積に分解する。この分解により、判別的二重線形分類器を用いてパラメータを学習することで、マルチカメラでの人物再識別とキネシップ検証のベンチマークで最先端の性能を達成し、ストレージと計算コストが低く抑えられる。

ABSTRACT

The group membership prediction (GMP) problem involves predicting whether or not a collection of instances share a certain semantic property. For instance, in kinship verification given a collection of images, the goal is to predict whether or not they share a {\it familial} relationship. In this context we propose a novel probability model and introduce latent {\em view-specific} and {\em view-shared} random variables to jointly account for the view-specific appearance and cross-view similarities among data instances. Our model posits that data from each view is independent conditioned on the shared variables. This postulate leads to a parametric probability model that decomposes group membership likelihood into a tensor product of data-independent parameters and data-dependent factors. We propose learning the data-independent parameters in a discriminative way with bilinear classifiers, and test our prediction algorithm on challenging visual recognition tasks such as multi-camera person re-identification and kinship verification. On most benchmark datasets, our method can significantly outperform the current state-of-the-art.

研究の動機と目的

• 複数の画像が、カメラ間をまたがる家族関係やアイデンティティといった意味的性質を共有しているかどうかを予測する課題に対処すること。
• 身体部位や顔面特徴点などの共有構造的情報を捉える潜在変数を導入することで、複数の視覚的ビュー間での視覚的類似性をモデル化すること。
• グループメンバーシップ尤度をデータに依存しない要因とデータに依存する要因に分解するパrametric確率モデルを構築すること。
• 判別的二重線形分類器を用いてモデルパラメータを学習し、予測精度を向上させること。
• 大規模な視覚認識タスクにおける計算効率とスケーラビリティを実証すること。

提案手法

• 共有潜在変数を条件付き独立と仮定し、視覚的特徴と視覚的共有潜在変数を併用する共同確率モデルを導入する。
• グループメンバーシップ尤度を、データに依存しないパラメータと、視覚語の共起から得られるデータに依存する要因のテンソル積に分解する。
• データに依存しないパラメータを判別的に学習するため、二重線形分類器を用い、エンドツーエンド最適化を可能にする。
• すべての潜在変数次元について周辺化を行い、最終的なグループメンバーシップスコアを計算する。
• 視覚語に基づく特徴行列を用いて各画像を表現し、効率的な類似度計算を可能にする。
• 実世界のデータセットを用いて、マルチビューのタスク（人物再識別やキネシップ検証）に本モデルを適用する。

実験結果

リサーチクエスチョン

• RQ1 統合された確率的モデルは、高い精度で複数の視覚的ビューにおいてグループメンバーシップを効果的に予測できるか？
• RQ2 共有潜在変数（例：身体部位、顔面特徴点）は、GMPにおけるビュー間類似度モデリングをどのように向上させるか？
• RQ3 判別的に学習された二重線形分類器は、従来のメトリクス学習や特徴工学的手法を上回る性能を示せるか？
• RQ4 本手法は大規模なマルチビュー認識タスクにおいて、計算およびストレージ効率が優れているか？
• RQ5 本モデルは、2値比較を超えた任意のグループサイズや複雑な家族構造にも一般化可能か？

主な発見

• TSKinFaceデータセットでは、FM-Dグループで90.6%の検証率を達成し、先行SOTA手法（86.4%）を上回った。
• Family 101データセットでは、平均AUCが94.5%に達し、前回の最高記録（92.7%）を上回った。
• マルチカメラ人物再識別タスクにおいて、VIPeR、WARD、RAiDデータセットで、従来のSOTA手法を一貫して上回った。
• 1データサンプルあたりのストレージは170 KB未満、1予測あたりの計算時間は2 ms未満であり、高い効率性を示した。
• 視覚的ビュー数やグループサイズが増加しても、メモリと時間のオーバーヘッドを低く抑えつつ、検証精度の顕著な向上を達成した。
• モデルパラメータの判別的学習に二重線形分類器を用いることで、よりロバストで正確なグループメンバーシップ予測が可能になった。