[論文レビュー] Rethinking of Pedestrian Attribute Recognition: A Reliable Evaluation under Zero-Shot Pedestrian Identity Setting

Jian Jia, Houjing Huang+2 more|arXiv (Cornell University)|Jul 8, 2021

Advanced Neural Network Applications参考文献 53被引用数 25

ひとこと要約

本論文は歩行者属性認識を定義し、データリークのある既存データセットを批判し、ゼロショット同一性データセット PETA ZS と RAP ZS を導入、再実装したベースラインと公正な評価の強力なベースラインを提供する。

ABSTRACT

Pedestrian attribute recognition aims to assign multiple attributes to one pedestrian image captured by a video surveillance camera. Although numerous methods are proposed and make tremendous progress, we argue that it is time to step back and analyze the status quo of the area. We review and rethink the recent progress from three perspectives. First, given that there is no explicit and complete definition of pedestrian attribute recognition, we formally define and distinguish pedestrian attribute recognition from other similar tasks. Second, based on the proposed definition, we expose the limitations of the existing datasets, which violate the academic norm and are inconsistent with the essential requirement of practical industry application. Thus, we propose two datasets, PETA extsubscript{$ZS$} and RAP extsubscript{$ZS$}, constructed following the zero-shot settings on pedestrian identity. In addition, we also introduce several realistic criteria for future pedestrian attribute dataset construction. Finally, we reimplement existing state-of-the-art methods and introduce a strong baseline method to give reliable evaluations and fair comparisons. Experiments are conducted on four existing datasets and two proposed datasets to measure progress on pedestrian attribute recognition.

研究の動機と目的

• 歩行者属性認識の明示的で完全な定義を提供する。
• 既存データセットが学術的規範と実用的ニーズを満たしているか評価する。
• ゼロショット歩行者同一性データセット（PETA ZS と RAP ZS）と現実的なデータ分割基準を提案する。
• 一貫した設定の下で最先端PAR手法を再実装し、強力なベースラインを確立する。
• 既存データセットと提案データセットに対して公正で信頼できる評価を提供し、進展を定量化する。

提案手法

• 歩行者属性認識を、訓練セットとテストセットの間でゼロショット同一性を持つ cropped 歩行者画像上の多ラベル予測として形式的に定義する。
• データリークと訓練/検証の分割の不整合によって生じる既存データセットの欠陥を特定する。
• 現実的な PAR データセットを構築する基準を提案し、ゼロショット同一性設定を用いて PETA ZS および RAP ZS を導入する。
• 統一された評価プロトコルの下で four state-of-the-art PAR 手法（MsVAA、VAC、ALM、JLAC）を再実装する。
• 属性ごとの重み付けスキーム WF1、WF2、WF3 を用いたバイナリ交差エントロピー損失による PAR の堅実なベースラインを提案し、その影響を分析する。
• エンドツーエンドの訓練と評価定式化を備えたベースライン実装フレームワークを提供する。

実験結果

リサーチクエスチョン

• RQ1 歩行者属性認識の正確な定義は何で、関連タスクとどう異なるのか。
• RQ2 現在の PAR データセットは現実的でゼロショット展開シナリオにおける一般化と性能を適切に測定しているのか。
• RQ3 データセットをゼロショット歩行者同一性を反映し、安定した属性分布を維持するように構築または分割するにはどうすべきか。
• RQ4 既存の PAR 手法は公正なゼロショット評価の下でどのように性能を発揮し、信頼できるベースラインとは何か。
• RQ5 属性重み付けスキームと訓練目的が、これらの基準下で PAR の性能に与える影響は何か。

主な発見

• 既存の PAR データセットは訓練セットとテストセット間で同一性が共有されるデータリークにより性能が過大評価されている。
• 訓練で見られる同一性を持つテスト画像と訓練で見られない一意同一性のテスト画像との間に顕著な性能ギャップがある。
• ゼロショットデータセット PETA ZS と RAP ZS は、テスト同一性が訓練セットに含まれていない現実的な展開をよりよく反映するために提案されている。
• 一貫した設定の下で最先端手法を再実装し、公正な比較と堅牢なベースラインの重要性を浮き彫りにする。
• 属性分布とクラス不均衡の影響により baseline PAR の性能が左右され、重み付け関数 WF1、WF2、WF3 が最適化に顕著な影響を与える。