[論文レビュー] Rethinking of Pedestrian Attribute Recognition: Realistic Datasets with Efficient Method

Jian Jia, Houjing Huang+3 more|arXiv (Cornell University)|May 25, 2020

Video Surveillance and Tracking Methods参考文献 36被引用数 30

ひとこと要約

本論文は、既存の歩行者属性データセットが訓練データとテストデータの同一IDの重複を許し、結果を過大評価していることを明らかにし、零ショットデータセットの PETA zs および RAPv2 zs を提案するとともに、局所化の調整を用いなくても最近の SOTA 手法を上回る強力なベースラインを提案する。

ABSTRACT

Despite various methods are proposed to make progress in pedestrian attribute recognition, a crucial problem on existing datasets is often neglected, namely, a large number of identical pedestrian identities in train and test set, which is not consistent with practical application. Thus, images of the same pedestrian identity in train set and test set are extremely similar, leading to overestimated performance of state-of-the-art methods on existing datasets. To address this problem, we propose two realistic datasets PETA extsubscript{$zs$} and RAPv2 extsubscript{$zs$} following zero-shot setting of pedestrian identities based on PETA and RAPv2 datasets. Furthermore, compared to our strong baseline method, we have observed that recent state-of-the-art methods can not make performance improvement on PETA, RAPv2, PETA extsubscript{$zs$} and RAPv2 extsubscript{$zs$}. Thus, through solving the inherent attribute imbalance in pedestrian attribute recognition, an efficient method is proposed to further improve the performance. Experiments on existing and proposed datasets verify the superiority of our method by achieving state-of-the-art performance.

研究の動機と目的

• 現在の歩行者属性データセットにおける非実用的な identity overlap と評価への影響を強調する。
• 現実的な展開シナリオを反映する零ショットデータセット（PETA zs および RAPv2 zs）を提案する。
• 属性局所化モジュールに依存してSOTAの改善が成り立つという見方に挑戦する強力なベースラインを導入する。

提案手法

• 訓練データとテストデータの identity overlap のデータセット問題を特定し、共通 identity テスト画像と固有 identity テスト画像の間の性能ギャップを示す。
• テスト identities が訓練に現れないように identity を再分割して、二つの零ショットデータセット PETA zs と RAPv2 zs を構築する。
• ResNet50 ベースラインの上に線形分類器とタスク固有の重み正規化を組み合わせた強力なベースラインを提案し、mA、Accuracy、Precision、Recall、F1 を用いて評価する。
• 同じベースラインとバックボーンの下で SOTA 手法（MsVAA、VAC、ALM）を再実装して公正な比較を行う。
• Grad-CAM を用いて属性局在化を分析し、ベースラインが明示的な局在化モジュールなしで属性領域を暗黙的に局在できることを示す。

実験結果

リサーチクエスチョン

• RQ1 訓練データとテストデータ間の同一IDの重複により、現在の歩行者属性データセットはモデルの性能を過大評価しているのだろうか？
• RQ2 評価時にテスト identity が厳密に見えない（零ショット）場合、性能にどのような影響があるのか？
• RQ3 属性特定領域の明示的な局在化モジュールなしで、強力なベースラインが競争力のある結果を達成できるか？
• RQ4 最先端手法は zero-shot データセットで従来のベースラインと比較して一貫した利得を提供するか？
• RQ5 共通 identity と固有 identity の画像サブセットは、データセット全体の評価指標にどのように影響するか？

主な発見

• 既存のデータセットは訓練セットとテストセットの identity の大きな重複を示しており、性能推定の過大評価を招いている。
• 零ショットデータセット PETA zs および RAPv2 zs は重複を減らし、現在の手法に顕著な性能低下をもたらすことを明らかにする。
• ResNet50 バックボーンを用いた強力なベースラインは、零ショット設定でいくつかのSOTA手法を上回る。
• 同じベースライン下で再実装した SOTA 手法は、類似の利得かそれ以下となり、性能は新規モジュールよりベースラインの強さによることを示している。
• 局在化に焦点を当てたアテンションモジュールは、強力なベースラインでは限定的な追加利得しかもたらさず、局在化が改善の鍵ではない可能性を示唆している。
• 提案されたデータセットとベースラインは、既存データセットでSOTA手法が主張する改善がデータリークと不十分なベースラインの産物である可能性を示している。