[論文レビュー] Weakly-supervised Learning of Mid-level Features for Pedestrian Attribute Recognition and Localization

Kai Yu, Biao Leng+3 more|arXiv (Cornell University)|Nov 17, 2016

Advanced Neural Network Applications参考文献 16被引用数 12

ひとこと要約

本論文は、画像ラベルのみを用いて訓練される、新しい検出レイヤーを備えたGoogLeNetを用いた弱教師付きフレームワーク、WPAL-networkを提案する。このフレームワークは、中レベルの属性関連特徴を発見し、検出応答の大きさを回帰し、相関強度で重み付けされた活性化マップを統合することで、ボクシングボックスのアノテーションが不要な状況でも、歩行者の属性認識および局所化に競争的な性能を達成する。これは、眼鏡やバッグのような細分化された属性の有効な局所化を示している。

ABSTRACT

State-of-the-art methods treat pedestrian attribute recognition as a multi-label image classification problem. The location information of person attributes is usually eliminated or simply encoded in the rigid splitting of whole body in previous work. In this paper, we formulate the task in a weakly-supervised attribute localization framework. Based on GoogLeNet, firstly, a set of mid-level attribute features are discovered by novelly designed detection layers, where a max-pooling based weakly-supervised object detection technique is used to train these layers with only image-level labels without the need of bounding box annotations of pedestrian attributes. Secondly, attribute labels are predicted by regression of the detection response magnitudes. Finally, the locations and rough shapes of pedestrian attributes can be inferred by performing clustering on a fusion of activation maps of the detection layers, where the fusion weights are estimated as the correlation strengths between each attribute and its relevant mid-level features. Extensive experiments are performed on the two currently largest pedestrian attribute datasets, i.e. the PETA dataset and the RAP dataset. Results show that the proposed method has achieved competitive performance on attribute recognition, compared to other state-of-the-art methods. Moreover, the results of attribute localization are visualized to understand the characteristics of the proposed method.

研究の動機と目的

• 低解像度、ポーズ変動、遮蔽がある監視映像における歩行者属性認識の課題に対処すること。
• ボクシングボックスのアノテーションが不要な弱教師付きの属性局所化を可能にすること。これは、細分化された属性に対して高コストで曖昧な場合が多い。
• 属性に強く関連する中レベルの意味的特徴を発見し、認識および局所化性能を向上させること。
• 切り出し画像における不規則な歩行者の位置やポーズに対しても、関連する身体部位に注目できるようにモデルを設計すること。
• 活性化マップの統合と相関に基づく重み付けを用いて、属性の概ねの形状と情報量の多い領域を推定すること。

提案手法

• GoogLeNetの中間部に検出レイヤーを導入し、画像ラベルのみを用いて中レベルの特徴を学習する。
• 最大プーリングに基づく弱教師付きオブジェクト検出技術を採用し、ボクシングボックスの監視なしに検出レイヤーを訓練する。
• 帽子のような属性に空間的制約を課すために、柔軟な空間的ピラミッドプーリング（FSPP）を用いる。
• 学習された中レベル特徴からの検出応答の大きさを回帰することで属性ラベルを予測する。
• 相関強度に基づく重み付けで統合された活性化マップをクラスタリングし、属性の位置と概ねの形状を推定する。
• 学習された中レベル特徴の存在可能性マップを統合することで、背景やポーズの変動に対して頑健な、歩行者の身体領域を推定する。

実験結果

リサーチクエスチョン

• RQ1 弱教師付きで発見された中レベル特徴は、歩行者属性認識の精度を向上させることができるか？
• RQ2 提案手法は、ボクシングボックスのアノテーションがなくても、眼鏡、帽子、靴といった細分化された属性を正しく局所化できるか？
• RQ3 相関に基づく重み付けで統合された活性化マップの融合は、属性の形状と位置を推定するのにどの程度有効か？
• RQ4 低レベルと高レベルの検出器は、属性認識にどの程度寄与しているか？また、低レベル特徴は細分化された属性の認識性能を向上させることができるか？
• RQ5 切り出し画像で歩行者が不自然な位置に配置されたり、部分的に遮蔽されたりしても、モデルは頑健性を保てるか？

主な発見

• 提案されたWPAL-networkは、PETAおよびRAPデータセットにおいて、画像ラベルのみを用いているにもかかわらず、最先端の手法と同等またはそれを上回る属性認識性能を達成した。
• 可視化された定性的な結果から、眼鏡、帽子、靴といった細分化された属性を効果的に局所化できており、弱教師付き局所化の有効性が示された。
• 人物が回転している、または画像中央からずれている場合でも、中レベル特徴の存在可能性マップを統合することで、歩行者の身体領域を正確に推定できた。
• 高レベル検出器が属性予測に最も寄与しているが、低レベル検出器も有意義な役割を果たしており、特定の属性における相関行列で上位の低レベルバケットが得られたことから裏付けられた。
• 相関強度行列から、'眼鏡をかけている'や'上半身：赤'といった属性が特定の中レベル特徴検出器と強く関連していることが判明し、モデルの解釈可能性が裏付けられた。
• 局所化の失敗事例は、主に遮蔽や属性定義の曖昧さに起因しており、文脈的または関係性モデリングを導入することでさらなる改善が可能であると考えられる。