[論文レビュー] Improving Pedestrian Attribute Recognition With Weakly-Supervised Multi-Scale Attribute-Specific Localization

Chufeng Tang, Lu Sheng+2 more|arXiv (Cornell University)|Oct 10, 2019

Video Surveillance and Tracking Methods参考文献 41被引用数 14

ひとこと要約

本稿では、複数の特徴スケールにわたる属性固有領域を自動で発見・局所化できる、新しい属性局所化モジュール（ALM）を用いた弱教師付きエンドツーエンドフレームワークを提案する。チャネルアテンションサブネットワークと空間変換器を統合し、適応的局所化を実現するとともに、深層監督を用いた特徴ピラミッドを採用することで、最小限のパラメータと計算コストで、PETA、RAP、PA-100Kの3つのベンチマークで最先端の性能を達成した。

ABSTRACT

Pedestrian attribute recognition has been an emerging research topic in the area of video surveillance. To predict the existence of a particular attribute, it is demanded to localize the regions related to the attribute. However, in this task, the region annotations are not available. How to carve out these attribute-related regions remains challenging. Existing methods applied attribute-agnostic visual attention or heuristic body-part localization mechanisms to enhance the local feature representations, while neglecting to employ attributes to define local feature areas. We propose a flexible Attribute Localization Module (ALM) to adaptively discover the most discriminative regions and learns the regional features for each attribute at multiple levels. Moreover, a feature pyramid architecture is also introduced to enhance the attribute-specific localization at low-levels with high-level semantic guidance. The proposed framework does not require additional region annotations and can be trained end-to-end with multi-level deep supervision. Extensive experiments show that the proposed method achieves state-of-the-art results on three pedestrian attribute datasets, including PETA, RAP, and PA-100K.

研究の動機と目的

• 領域レベルのアノテーションがなくとも、歩行者画像における属性関連領域の局所化を解決すること。
• グローバル特徴に依存するのではなく、属性固有の判別力のある局所特徴を学習することで、細分化された歩行者属性認識を向上させること。
• 特定性に欠ける外部パーツ局所化モジュールや属性に依存しないアテンション機構に依存しないようにすること。
• 領域レベルやパーツレベルのアノテーションを必要とせず、画像レベルのアノテーションのみでエンドツーエンド学習を可能にし、モデルの効率性を維持すること。
• 特徴ピラミッドアーキテクチャを用いて高レベルの意味的ガイダンスを低レベル特徴に活用することで、浅い層における局所化精度を向上させること。

提案手法

• チャネル間の依存関係をモデル化するチャネルアテンションサブネットワークと、属性固有領域を適応的に局所化する空間変換器を統合した属性局所化モジュール（ALM）を導入する。
• 異なる特徴レベルに複数のALMを配置することで、マルチスケールな属性固有の局所化と特徴学習を可能にする。
• 高レベルの意味的特徴と低レベルの詳細情報を融合する特徴ピラミッドアーキテクチャを構築し、浅い層での局所化精度を向上させる。
• 同じ属性アノテーションを用いて全レベルでALMを訓練する深層監督を適用し、その後にレベル間の予測を集約するための投票メカニズムを導入する。
• 完全結合層と1×1畳み込み層のみを用いた軽量設計を採用し、追加のFLOPsとパラメータを最小限に抑える。
• 領域レベルやパーツレベルのアノテーションを必要とせず、画像レベルのアノテーションのみで、全フレームワークをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 領域アノテーションがなくとも、弱教師付きで属性固有の局所化を効果的に学習できるか？
• RQ2 マルチスケール特徴表現をどのように活用すれば、細分化された歩行者属性の局所化精度を向上させられるか？
• RQ3 低レベルの詳細と高レベルの意味を組み合わせた特徴ピラミッドアーキテクチャは、局所化と認識性能の両方を向上させられるか？
• RQ4 複数レベルにわたる深層監督を備えたエンドツーエンドで学習可能なフレームワークは、従来のアテンションベースやパーツベースのベースラインを上回るか？
• RQ5 提案手法は、認識精度を向上させつつ、どの程度モデルの複雑さを低減できるか？

主な発見

• 提案手法は、PETA、RAP、PA-100Kの3つのベンチマークで最先端の性能を達成し、PA-100Kでは平均精度（mA）80.68%を記録。前回のSOTAを3.7%上回った。
• PA-100Kでは、2番目に良い手法よりもF1スコアを1.4%向上させ、困難で長尾分布を示すデータに対して優れた一般化性能を示した。
• PETAではベースライン比でmAが3.6%向上、RAPでは6.1%、PA-100Kでは3.2%向上し、全データセットで一貫した向上を確認した。
• 高い再現率を示す一方で、精度とF1スコアも高く維持されており、クラス不均衡な状況でも頑健であることが示された。
• モデルはわずか0.17 GFLOPsの追加計算量と、51属性で約120万パラメータの最小限の追加パラメータで実現され、先行手法に比べて顕著に効率的であった。
• アブレーションスタディにより、特徴ピラミッドと投票メカニズムが性能向上に不可欠であることが確認され、両方を組み合わせた際が最良の結果をもたらした。