[論文レビュー] Deep Template Matching for Pedestrian Attribute Recognition with the Auxiliary Supervision of Attribute-wise Keypoints

Jiajun Zhang, Pengyuan Ren+1 more|arXiv (Cornell University)|Nov 13, 2020

Video Surveillance and Tracking Methods参考文献 35被引用数 10

ひとこと要約

本稿では、歩行者属性認識のための、属性別キーポイント（AWK）補助監視を備えたディープテンプレートマッチング（DTM）を提案する。従来の分類器に代わり、判別的な局所特徴を捉える軽量で微分可能なテンプレートマッチング機構を採用することで、計算コストを低減しつつ、推論の複雑さを増さない。本手法は、PETA、PA-100K、RAP、RAPv2 $zs$ において最先端の性能を達成する。

ABSTRACT

Pedestrian Attribute Recognition (PAR) has aroused extensive attention due to its important role in video surveillance scenarios. In most cases, the existence of a particular attribute is strongly related to a partial region. Recent works design complicated modules, e.g., attention mechanism and proposal of body parts to localize the attribute corresponding region. These works further prove that localization of attribute specific regions precisely will help in improving performance. However, these part-information-based methods are still not accurate as well as increasing model complexity which makes it hard to deploy on realistic applications. In this paper, we propose a Deep Template Matching based method to capture body parts features with less computation. Further, we also proposed an auxiliary supervision method that use human pose keypoints to guide the learning toward discriminative local cues. Extensive experiments show that the proposed method outperforms and has lower computational complexity, compared with the state-of-the-art approaches on large-scale pedestrian attribute datasets, including PETA, PA-100K, RAP, and RAPv2 zs.

研究の動機と目的

• 歩行者画像における属性固有の領域を局所化することで、認識精度を向上させること。
• 注目メカニズムやプロポーザルベースの手法が重いモジュールに依存するのと比較し、モデルの複雑さと推論コストを低減すること。
• 人間のポーズキーポイントを補助監視として活用することで、局所属性の特徴学習を向上させること。
• 分類に用いられる全結合層を置き換える軽量で微分可能なテンプレートマッチング機構を開発すること。
• モデルサイズや推論コストを増加させることなく、高性能でリアルタイムにデプロイ可能な歩行者属性認識を実現すること。

提案手法

• グローバル平均プーリング（GAP）またはグローバルマックスプーリング（GMP）を用いて局所特徴を抽出することで、古典的テンプレートマッチングを模倣する微分可能で畳み込み層ベースの方法である、ディープテンプレートマッチング（DTM）を導入する。
• 収束が悪く、誤った特徴局所化を引き起こす可能性があるランダム初期化の問題を回避するため、学習可能なテンプレート初期化戦略を採用する。
• 人間のポーズキーポイントの位置を用いて、DTMモジュールが判別的な局所特徴を学習するように、属性別キーポイント（AWK）を介した補助監視を適用する。
• AWK監視ブロックはトレーニング時でのみ統合され、推論時には計算オーバーヘッドを追加しない。
• GAPとGMPプーリングをDTMで組み合わせることで、局所的およびグローバルな属性の両方で性能をバランスさせ、全体のロバストネスを向上させる。
• バッチ正則化とアブレーションスタディを用いて、バッチサイズとプーリング戦略の性能への影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 軽量で微分可能なテンプレートマッチング機構は、従来の全結合分類器を上回る性能を発揮するか？
• RQ2 属性別の人間のポーズキーポイントを用いた補助監視は、モデルの複雑さを増さずに、局所化精度と認識性能を向上させるか？
• RQ3 DTMとAWKの組み合わせは、PETA、PA-100K、RAP、RAPv2 $zs$ といった多様なベンチマークでどのように性能に影響を与えるか？
• RQ4 プーリング戦略（GAP 対 GMP）およびバッチサイズの選択が、DTMベースのモデルの収束性と性能にどの程度影響を与えるか？
• RQ5 提案手法は、最先端の注目メカニズムやプロポーザルベースのモデルと比較して、計算コストを著しく低減しつつも高い精度を維持できるか？

主な発見

• 提案された DTM+AWK 法は、RAP データセットで平均精度（mA）82.04を達成し、ベースラインの FC+BN 法（80.05 mA）を上回った。
• AWK 監視により、ほとんどの属性で属性別 mA が 4% から 10% 向上し、特に「バックパック」や「カジュアルシューズ」などの局所的属性で顕著な向上が見られた。
• GAP + GMP プーリングを用いた DTM が最も優れた全体的性能（81.33 mA）を示し、GAP 僅どの DTM（81.25 mA）や GMP 僅どの DTM（77.72 mA）を上回った。
• アブレーションスタディにより、DTM のみでも従来の分類器を上回る性能が得られ、さらに AWK の追加によりラベルベースの指標（mA）と F1 スコアが向上した。
• バッチサイズを増加させても、通常はバッチ正則化の統計を改善するが、DTM ベースのモデルはすべての設定で優れた性能を維持した。これは、モデルの頑健性と一般化能力を示している。
• AWK 監視付きの DTM ヒートマップの可視化により、ベースライン手法と比較して、属性に関連する身体部位に対してより正確で局所的な注目が得られた。