[論文レビュー] Learning to Recognize Pedestrian Attribute

Yubin Deng, Ping Luo+2 more|arXiv (Cornell University)|Jan 5, 2015

Video Surveillance and Tracking Methods参考文献 18被引用数 37

ひとこと要約

本稿では、近隣のコンテキストとフォアグラウンド・バックグラウンドの特徴表現を活用することで、遠距離での歩行者属性認識を向上させるマルコフ確率場（MRF）に基づく手法を提案する。歩行者画像を類似度重み付きエッジを持つMRFとしてモデル化し、深層パーサーを用いてフォアグラウンド特徴を分離することで、大規模なPETAデータセットにおいて、ベースライン手法よりも平均正解率が4.4%向上する最先端の性能を達成した。

ABSTRACT

Learning to recognize pedestrian attributes at far distance is a challenging problem in visual surveillance since face and body close-shots are hardly available; instead, only far-view image frames of pedestrian are given. In this study, we present an alternative approach that exploits the context of neighboring pedestrian images for improved attribute inference compared to the conventional SVM-based method. In addition, we conduct extensive experiments to evaluate the informativeness of background and foreground features for attribute recognition. Experiments are based on our newly released pedestrian attribute dataset, which is by far the largest and most diverse of its kind.

研究の動機と目的

• 顔や身体の詳細が低解像度や隠蔽のため利用できない遠距離での歩行者属性認識の課題に対処すること。
• 属性認識性能の向上に寄与するバックグラウンドおよびフォアグラウンド特徴の役割を調査すること。
• 自動的に推定されたMRFグラフを通じて、歩行者画像間の近隣情報を利用したコンテキストに配慮した学習フレームワークを構築すること。
• 全体画像、フォアグラウンドのみ、フォアグラウンド・バックグラウンドの組み合わせといった、異なる特徴表現方式が属性認識に与える影響を評価すること。
• PETAという最大規模かつ多様性に富んだ歩行者属性データセットを用いて、属性認識手法の新しいベンチマークを確立すること。

提案手法

• 本手法は、複数の歩行者画像を、ノードが画像を表し、エッジがペアワイズ類似度で重み付けされたマルコフ確率場（MRF）グラフとしてモデル化する。類似度は、ユークリッド距離または特徴選択を伴う意思決定森ベースの類似度によって推定される。
• フォアグラウンド領域（例：身体、四肢）は、ディープ分解ネットワーク（DDN）を用いたパーサーによって抽出され、残りの領域はバックグラウンドとして扱われる。
• 3つの特徴表現方式を評価する：全体画像特徴（$\mathbf{u}^{\text{whole}}$）、フォアグラウンド特徴のみ（$\mathbf{u}^{\text{fore}}$）、およびフォアグラウンド・バックグラウンド特徴の連結（$\mathbf{u}^{\text{fore}}, \mathbf{u}^{\text{back}}$）。
• MRF推論プロセスは、グラフ内に存在するすべての画像の属性確率を同時に推定することで、外見の曖昧さやクラス内変動に対する耐性を高める。
• 2つのMRF構築戦略を比較する：1つはテストサンプルのみを用いるもの、もう1つは訓練およびテストサンプルを併用して画像空間をよりよくカバーするものである。
• 本手法は、20の属性における平均平均適合度（mAP）を指標として用い、新規の大規模歩行者属性データセット（PETA）を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 歩行者画像間の近隣コンテキストを組み込むことで、遠距離シナリオにおける属性認識性能がどのように向上するか？
• RQ2 フォアグラウンド特徴とバックグラウンド特徴の相対的寄与度は、正確な属性検出にどのように寄与するか？
• RQ3 類似度重み付きグラフトポロジーを持つ共同最適化MRFモデルは、従来のSVMベースの手法を上回る性能を示すか？
• RQ4 全体画像、フォアグラウンドのみ、フォアグラウンド・バックグラウンドの組み合わせといった特徴表現方式の中で、どれが最も優れた性能を示すか？
• RQ5 ガウスカーネルとランダムフォレストといった異なる類似度測定方式が、MRFベースの属性推論にどのように影響を与えるか？

主な発見

• ランダムフォレスト類似度を用いたMRFベースの手法（MRFr2）は、ベースラインの$\mathbf{u}^{\text{whole}}$方式よりも平均正解率が4.4%向上し、$(\mathbf{u}^{\text{fore}}, \mathbf{u}^{\text{whole}})$特徴表現で最高の性能を達成した。
• MRFアプローチは、ikSVMベースラインよりも平均正解率を3.4%向上させ、『carryingOther』や『Shoes』といった属性では最大10%の向上を示した。
• 訓練およびテストサンプルを併用してMRFグラフを構築した場合、テストサンプルのみを用いた場合よりも高い性能を示し、画像空間のカバレッジが向上したことが示された。
• フォアグラウンド特徴と組み合わせたバックグラウンドコンテキストの統合が最も効果的であり、$(\mathbf{u}^{\text{fore}}, \mathbf{u}^{\text{whole}})$方式の優れた性能がそれを裏付けた。
• 正例と負例の分布が不均衡な属性（例：『logo』、『stripes』、『v-neck』）は、最良の手法でも低性能にとどまり、さらなるデータ拡張やモデリングの改善が求められることが示された。
• 本手法は、隠蔽やバックグラウンドノイズに対して耐性を示したが、特に『sunglasses』や『long hair』といった属性では誤検出（偽陰性）が一般的であった。