[論文レビュー] Dissecting Person Re-identification from the Viewpoint of Viewpoint

Xiaoxiao Sun, Liang Zheng|arXiv (Cornell University)|Dec 5, 2018

Video Surveillance and Tracking Methods参考文献 30被引用数 14

ひとこと要約

本論文は、視点角度を0°から360°まで精密に制御可能な合成データエンジン「PersonX」を紹介し、人物再識別（re-ID）における視点の影響を明らかにする。PersonXと実世界のMarket-1203を用いた広範な実験を通じて、側面視点のクエリがより高いre-ID精度を達成し、クエリと真のマッチの間の視点差が、特に困難な条件下で性能を著しく低下させることを定量的に示している。

ABSTRACT

Variations in visual factors such as viewpoint, pose, illumination and background, are usually viewed as important challenges in person re-identification (re-ID). In spite of acknowledging these factors to be influential, quantitative studies on how they affect a re-ID system are still lacking. To derive insights in this scientific campaign, this paper makes an early attempt in studying a particular factor, viewpoint. We narrow the viewpoint problem down to the pedestrian rotation angle to obtain focused conclusions. In this regard, this paper makes two contributions to the community. First, we introduce a large-scale synthetic data engine, PersonX. Composed of hand-crafted 3D person models, the salient characteristic of this engine is "controllable". That is, we are able to synthesize pedestrians by setting the visual variables to arbitrary values. Second, on the 3D data engine, we quantitatively analyze the influence of pedestrian rotation angle on re-ID accuracy. Comprehensively, the person rotation angles are precisely customized from 0 to 360, allowing us to investigate its effect on the training, query, and gallery sets. Extensive experiment helps us have a deeper understanding of the fundamental problems in person re-ID. Our research also provides useful insights for dataset building and future practical usage, e.g., a person of a side view makes a better query.

研究の動機と目的

• 人物の視点がre-ID性能に与える影響を定量的に理解すること。これは、しばしば認識されつつも、ほとんど測定されていない要因である。
• 視点のような視覚的要因を研究するための制御可能で柔軟なデータの不足に応えること。実世界のデータセットでは、通常、バイアスや固定された条件に制限される。
• 最適なクエリおよびギャラリー集合のための視点を同定することで、効果的なトレーニングセット設計と実用的展開を支援すること。
• 制御可能な合成データプラットフォームを用いて、将来的なre-IDにおける環境要因の研究に科学的基盤を提供すること。

提案手法

• 1,266体の手動で設計された3次元アイデンティティを備え、視点、照明、背景、ポーズを完全に制御可能な大規模な合成データエンジン「PersonX」を構築した。
• 0°から360°までの歩行者の回転角度を精密に制御可能であり、トレーニング、クエリ、ギャラリー集合における視点効果の系統的分析を可能にした。
• 実世界の状況を模倣し、耐性をテストするために、バランス型およびアンバランス型の視点分布を持つ合成データセットを生成した。
• mAPを主な指標として用い、さまざまな視点設定におけるre-ID精度を比較する厳密な実験を実施した。
• 実世界のMarket-1203で、視点を手動でラベル付けし、主要な実験設定を再現することで、発見を検証した。
• 信頼性の高い検索評価を確保するため、特徴抽出および類似度計算に最先端のPCBモデルを用いた。

実験結果

リサーチクエスチョン

• RQ1 トレーニングセットにおける視点分布は、re-IDモデルの性能にどのように影響するか？
• RQ2 クエリ画像の視点は、検索精度にどのように影響するか？
• RQ3 クエリとその真のマッチの間の視点差は、ギャラリー集合における検索性能にどのように影響するか？
• RQ4 環境の難易度（例：複雑な背景、低解像度）は、視点不一致の影響をどのように調節するか？

主な発見

• 左または右の側面を捉えたクエリ画像は、正面または背面視点のものよりも顕著に高いre-ID精度を達成する。
• クエリと類似した視点を持つ真のマッチがギャラリーから除外された場合、PersonX 45ではmAPが約1.0%低下し、Market-1203では約3.0%低下する。
• 複雑な背景や低解像度などの困難な環境下では、視点不一致による性能低下が顕著に強化され、より困難なPersonX 46 -lrデータセットではmAP低下がほぼ2倍にまで増加する。
• クエリと大きく視点差のある真のマッチは、視点が類似した偽のマッチよりも常に低い順位にランク付けされるが、特に外見的差が小さい場合には顕著である。
• 合成データセットPersonXは、実世界のデータセットと一貫したre-ID精度のトレンドを示しており、科学的実験に適した代表性と実用性を検証した。
• ギャラリー内に視点が類似した真のマッチが存在することは、高い検索精度を達成する上で極めて重要であり、視点の一貫性が成功したre-IDの鍵要因であることが示唆される。