[論文レビュー] Attributes-aided Part Detection and Refinement for Person Re-identification

Shuzhao Li, Huimin Yu+2 more|arXiv (Cornell University)|Feb 27, 2019

Video Surveillance and Tracking Methods参考文献 20被引用数 4

ひとこと要約

本稿では、人物再識別におけるボディパーツの不一致問題に寄与するポーズに依存しないパーツ検出器としての属性検出を活用する、APDRと呼ばれる新しい深層学習モデルを提案する。属性情報を統合することで局所的特徴を精緻化することで、Market-1501およびDukeMTMC-reIDで最先端の性能を達成し、再ランク付きを含めても、既存手法に比してランク-1精度およびmAPの両面で優れている。特に再ランク付き後は顕著な向上を示す。

ABSTRACT

Person attributes are often exploited as mid-level human semantic information to help promote the performance of person re-identification task. In this paper, unlike most existing methods simply taking attribute learning as a classification problem, we perform it in a different way with the motivation that attributes are related to specific local regions, which refers to the perceptual ability of attributes. We utilize the process of attribute detection to generate corresponding attribute-part detectors, whose invariance to many influences like poses and camera views can be guaranteed. With detected local part regions, our model extracts local features to handle the body part misalignment problem, which is another major challenge for person re-identification. The local descriptors are further refined by fused attribute information to eliminate interferences caused by detection deviation. Extensive experiments on two popular benchmarks with attribute annotations demonstrate the effectiveness of our model and competitive performance compared with state-of-the-art algorithms.

研究の動機と目的

• ポーズ、視点、遮蔽の変動に起因する、人物再識別におけるボディパーツの不一致問題に持続的に対処すること。
• 弱い教師信号に依存するポーズ推定やアテンションモデルに依存する従来のパーツ検出手法の限界を克服すること。
• 人間の属性が持つ知覚的・意味的整合性を活用し、より信頼性が高く判別力のある局所的パーツ位置特定を促進すること。
• 属性情報を統合することで局所的記述子を精緻化し、検出誤差に起因する不要なノイズを低減すること。
• 属性学習、パーツ検出、特徴精緻化を統合した一貫性のあるフレームワークを構築し、エンドツーエンドの再識別最適化を実現すること。

提案手法

• 属性検出ヘッドを訓練し、局所的領域と属性の関連性を学習させることで、ポーズや視点に依存しないパーツ検出器を生成する。
• 検出された属性-パーツ領域を用いて局所的深層特徴を抽出することで、空間的不一致の問題を軽減する。
• 複数の属性を統合して、コンactかつ意味的に明確な表現を生成するシンプルな属性統合モジュールを導入する。
• 統合された属性表現を用いて抽出された局所的特徴を精緻化し、検出のずれによって生じる不要またはノイズの多い特徴を抑制する。
• 精緻化された局所的特徴とグローバル画像レベルの特徴を統合し、最終的な再識別スコアを算出する。
• 再ランク付きを後処理として適用し、モデルの頑健性と判別力を利用することで性能をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 属性検出は、人物再識別におけるポーズに依存しないパーツ検出メカニズムとして効果的に再利用可能か？
• RQ2 個々の属性分類と比較して、複数の属性を統合することで、局所的パーツ特徴の信頼性と判別力はどの程度向上するか？
• RQ3 属性支援型パーツ検出は、検出誤差や空間的不一致の影響をどの程度低減できるか？
• RQ4 統合された属性情報に基づく提案された精緻化機構は、標準的なパーツプーリングやアテンション機構と比較して、より頑健な局所的特徴表現を提供するか？
• RQ5 大規模なベンチマークにおいて、大きなポーズ変動や複雑な背景といった困難な条件下でも、モデルの性能はどの程度維持されるか？

主な発見

• Market-1501では再ランク付きなしで93.1%のランク-1精度および80.1%のmAPを達成し、PABR や RPP を含む多数の最先端手法を上回った。
• 再ランク付きを適用した後、Market-1501では94.4%のランク-1および90.2%のmAPを達成し、RPPモデルでさえも上回り、新たなSOTA性能を樹立した。
• DukeMTMC-reIDでは84.3%のランク-1および69.7%のmAPを達成し、拡張構造を用いていないにもかかわらず、PABR や RPP と同等またはそれ以上の性能を示した。
• 再ランク付きを適用した後、DukeMTMC-reIDでは87.3%のランク-1および83.2%のmAPを達成し、多様な監視環境において優れた一般化性能を示した。
• APR や ACRN といった属性ベースの手法と比較して顕著に優れており、属性を用いた知覚駆動型パーツ検出が単なる属性分類よりも効果的であることを実証した。
• アブレーション実験から、属性統合と精緻化が極めて重要であることが示された。これらのモジュールを削除すると性能が著しく低下し、それらの機能的意義が裏付けられた。