[論文レビュー] Orientation Driven Bag of Appearances for Person Re-identification

Liqian Ma, Hong Liu+3 more|arXiv (Cornell University)|May 9, 2016

Video Surveillance and Tracking Methods参考文献 25被引用数 23

ひとこと要約

本稿では、ボディ構造と方向情報を取り入れることで、人物再識別に向けた新しい特徴表現フレームワーク、方向駆動型アピアランスBag of Appearances（ODBoA）を提案する。ボディ構造ピラミッドを用いて中間レベルの特徴学習を行い、方向に基づいて複数ショットのアピアランスを統合することで、複雑で制約のないデータセット上での性能を顕著に向上させる。

ABSTRACT

Person re-identification (re-id) consists of associating individual across camera network, which is valuable for intelligent video surveillance and has drawn wide attention. Although person re-identification research is making progress, it still faces some challenges such as varying poses, illumination and viewpoints. For feature representation in re-identification, existing works usually use low-level descriptors which do not take full advantage of body structure information, resulting in low representation ability. %discrimination. To solve this problem, this paper proposes the mid-level body-structure based feature representation (BSFR) which introduces body structure pyramid for codebook learning and feature pooling in the vertical direction of human body. Besides, varying viewpoints in the horizontal direction of human body usually causes the data missing problem, $i.e.$, the appearances obtained in different orientations of the identical person could vary significantly. To address this problem, the orientation driven bag of appearances (ODBoA) is proposed to utilize person orientation information extracted by orientation estimation technic. To properly evaluate the proposed approach, we introduce a new re-identification dataset (Market-1203) based on the Market-1501 dataset and propose a new re-identification dataset (PKU-Reid). Both datasets contain multiple images captured in different body orientations for each person. Experimental results on three public datasets and two proposed datasets demonstrate the superiority of the proposed approach, indicating the effectiveness of body structure and orientation information for improving re-identification performance.

研究の動機と目的

• ポーズ、照明、視点の変化に対して感受性が高い低レベル記述子の限界を解消すること。
• 異なるボディの向きによるデータ欠落問題を克服すること。同じ人物のアピアランスが視点によって顕著に異なることが原因である。
• 中間レベルのボディ構造と方向情報を利用することで特徴表現を向上させ、空間的不一致や背景ノイズに対してより頑健にする。
• 監視環境におけるデータの不均衡を緩和するために、方向に基づいて特徴を統合する複数ショット再識別フレームワークを開発すること。
• より適切な方向に注意を向けた再識別手法の評価を可能にするために、2つの新しいデータセット、Market-1203 および PKU-Reid を提案すること。

提案手法

• 中間レベルのコードブック学習と特徴プーリングを向上させるために、垂直方向のボディパーツ情報（例：頭部、胴体、脚）を符号化するボディ構造ピラミッドを導入する。
• 空間的不一致に対して頑健な中間レベル表現への低レベル記述子の変換のために、局所制限付き線形符号化（LLC）を用いる。
• 人物の方向推定を活用して複数ショット特徴統合をガイドする、方向駆動型アピアランスBag of Appearances（ODBoA）を提案する。
• 各方向を別々の視点として扱い、方向に注意を向けたプーリングを用いて複数ショットの特徴を統合することで、不適切なアピアランスによるノイズを低減する。
• 意思決定レベルではなく特徴レベルでの中間レベル特徉融合を適用することで、判別性の高い情報を保持するとともに次元削減を実現する。
• データの不均衡に起因する曖昧さを解消するため、方向を利用したメトリック学習フレームワークを設計し、特に1対NおよびM対1マッチングの状況で有効である。

実験結果

リサーチクエスチョン

• RQ1 ボディ構造に基づく中間レベル特徴表現は、ポーズや視点の変化に対して人物再識別性能を向上させることができるか？
• RQ2 人物の方向情報を取り入れることで、異なる視点における外見変動の影響をどの程度軽減できるか？
• RQ3 方向に注意を向けた複数ショット統合は、監視環境におけるデータ欠落およびデータの不均衡問題をどの程度緩和できるか？
• RQ4 提案されたODBoAフレームワークは、多様な方向と複雑なシーンを持つデータセットで最先端の手法を上回る性能を示すか？
• RQ5 実際の監視環境において、ボディ構造に基づく特徴学習と方向駆動型統合の組み合わせは、どの程度有効であるか？

主な発見

• 提案されたODBoA-Mid-Pooling手法は、3DPeSデータセットでRank-1精度55.8%を達成し、以前の最先端手法Dualより3.2ポイント高い性能を示した。
• Market-1203データセットでは、1対1から4対4マッチングへの移行において顕著な向上を示し、複数ショット統合に対する強い頑健性を確認した。
• 方向情報の活用により、ギャラリーに多数のショットが含まれる1対Nマッチング状況でのノイズが最大15%の精度向上をもたらした。
• 3DPeSデータセットでは、Rank-5が79.0%、Rank-10が87.9%を達成し、複雑な照明、ポーズ、時間的変化下でも優れた一般化性能を示した。
• Mid-Poolingの精度行列は非対称である（例：1対N vs M対1）、これは方向に注意を向けた統合が背景ノイズや不一致した外見からのノイズを低減していることを確認した。
• Market-1203およびPKU-Reidデータセットの導入により、方向に注意を向けた再識別評価がより現実的に行えるようになった。両データセットとも、異なる方向に複数の画像を含む人物が含まれている。