[論文レビュー] Attribute Aware Pooling for Pedestrian Attribute Recognition

Kai Han, Yunhe Wang+4 more|arXiv (Cornell University)|Jul 27, 2019

Video Surveillance and Tracking Methods参考文献 30被引用数 13

ひとこと要約

本稿では、属性の共起事前知識をマルチブランチ畳み込みニューラルネットワーク（CNN）アーキテクチャを通じて活用することで、歩行者属性認識の性能を向上させる新しい手法、Attribute Aware Pooling（AAP）を提案する。個々のブランチの予測と属性間の文脈的相関を統合することにより、PETAで86.97％の平均精度を達成し、ベンチマークデータセット上で最先端の性能を発揮する。

ABSTRACT

This paper expands the strength of deep convolutional neural networks (CNNs) to the pedestrian attribute recognition problem by devising a novel attribute aware pooling algorithm. Existing vanilla CNNs cannot be straightforwardly applied to handle multi-attribute data because of the larger label space as well as the attribute entanglement and correlations. We tackle these challenges that hampers the development of CNNs for multi-attribute classification by fully exploiting the correlation between different attributes. The multi-branch architecture is adopted for fucusing on attributes at different regions. Besides the prediction based on each branch itself, context information of each branch are employed for decision as well. The attribute aware pooling is developed to integrate both kinds of information. Therefore, attributes which are indistinct or tangled with others can be accurately recognized by exploiting the context information. Experiments on benchmark datasets demonstrate that the proposed pooling method appropriately explores and exploits the correlations between attributes for the pedestrian attribute recognition.

研究の動機と目的

• 属性がしばしば重複して現れるため、属性が複雑に絡み合っている多属性歩行者認識の課題に対処すること。
• 歩行者画像における大きなラベル空間と複雑な属性相関に対処するのを妨げる、シンプルなCNNの限界を克服すること。
• 学習データから得られる属性共起パターンの事前知識を活用することで、認識精度を向上させること。
• 文脈に配慮した意思決定を組み込んだマルチブランチCNNに一般化可能な深層学習フレームワークを構築すること。
• 属性に配慮したプーリングが、多属性分類タスクにおける正則化手法として有効であることを示すこと。

提案手法

• 共有された低層部が特徴を抽出するマルチブランチCNNアーキテクチャを採用し、タスク固有のブランチが異なる属性グループに焦点を当てる。
• 学習データから2つの共起行列 $C$ と $ ilde{C}$ を構築し、属性の共起統計を符号化する。
• 行列から得られる共起事前知識をもとに、文脈に配慮した属性確率 $P^+$ を推定する。
• 個々のブランチの予測と文脈に配慮した推定値を、学習可能な融合パrameter $\lambda$ を用いて $\hat{\mathbf{p}} = (1-\lambda)\mathbf{p} + \lambda P^+$ の形で統合する。
• バッチサイズ32で学習し、入力画像を $512 \times 256$ にリサイズして、Adam最適化手法でモデル全体を微調整する。
• 訓練中にランダムクロッピングを $448 \times 224$ に、水平反転を適用し、ImageNetで事前学習した重みを初期値として使用する。

実験結果

リサーチクエスチョン

• RQ1 属性の共起事前知識は、多属性歩行者認識におけるCNNの性能を顕著に向上させ得るか？
• RQ2 相関する属性からの文脈情報を統合することで、曖昧または絡み合った属性の認識にどのような影響を与えるか？
• RQ3 提案手法である属性に配慮したプーリングは、文脈統合を行わない標準的なマルチブランチCNNに比べてどの程度優れているか？
• RQ4 提案手法は、属性セットやデータ分布が異なるさまざまなベンチマークデータセットに対しても一般化可能か？
• RQ5 ハイパーパrameter $\lambda$ が制御する個々のブランチ予測と文脈に配慮した推定値の最適なバランスは何か？

主な発見

• 提案されたCoCNNモデルは、PETAデータセットで86.97％の平均精度を達成し、すべての先行SOTA手法を上回った。
• RAPおよびPA-100Kデータセットでも、平均精度、適合率、F1スコア、再現率のすべての評価指標で、最高または第2位のスコアを記録した。
• マルチブランチアーキテクチャ単体でも、シンプルなResNet-50に比べて性能が向上したが、属性に配慮したプーリングの導入によりさらなる顕著な向上が得られた。
• 定性的な分析から、AAPは「スカート＆ドレス」と「18歳未満」の誤分類を、「女性」や「バックパック」といった関連属性の文脈を活用することで是正した。
• PETAデータセットで最良の性能を得るための最適なハイパーパrameter $\lambda = 0.2$ が特定され、個々の予測と文脈に配慮した推定値のバランスを最適に保証した。
• 同じ $\lambda = 0.2$ の設定が、すべての3つのベンチマークデータセットで再調整なしに有効であったことから、本手法は頑健で一般化性に優れていることが示された。