[論文レビュー] Attribute Recognition by Joint Recurrent Learning of Context and Correlation

Jingya Wang, Xiatian Zhu+2 more|arXiv (Cornell University)|Sep 25, 2017

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 36

ひとこと要約

本稿では、低品質な監視画像における歩行者属性認識を、限られた訓練データで向上させるための共同再帰学習（JRL）モデルを提案する。本モデルは、順序系列RNNエンコーダ・デコーダアーキテクチャを用いて、個体内属性相関と個間画像類似性を同時にモデリングする。PETAおよびRAPベンチマークにおいて最先端の性能を達成し、属性順序アンサンブルにより3.54% mAP向上を達成するとともに、再帰的アテンションおよびコンテキストモデリングによる強力な性能向上を示す。

ABSTRACT

Recognising semantic pedestrian attributes in surveillance images is a challenging task for computer vision, particularly when the imaging quality is poor with complex background clutter and uncontrolled viewing conditions, and the number of labelled training data is small. In this work, we formulate a Joint Recurrent Learning (JRL) model for exploring attribute context and correlation in order to improve attribute recognition given small sized training data with poor quality images. The JRL model learns jointly pedestrian attribute correlations in a pedestrian image and in particular their sequential ordering dependencies (latent high-order correlation) in an end-to-end encoder/decoder recurrent network. We demonstrate the performance advantage and robustness of the JRL model over a wide range of state-of-the-art deep models for pedestrian attribute recognition, multi-label image classification, and multi-person image annotation on two largest pedestrian attribute benchmarks PETA and RAP.

研究の動機と目的

• 低品質な監視画像、低解像度、限られたラベル付き訓練データという条件下での歩行者属性認識の課題に対処すること。
• 身体部位検出などの弱い教師信号に依存するか、属性相関と視覚的コンテキストを独立して扱う既存手法の限界を克服すること。
• 個体内属性相関（例：『女性』と『スカート』の共起）と個間画像類似性（例：同じシーンにいる人物が共通の属性を持つ）を同時にモデリングする統合的ディーブラーニングフレームワークを構築し、耐性を高めること。
• 再帰的アーキテクチャを用いて属性間の順序依存性を活用することで、スパarselyラベル付きで低品質なデータでも、より正確で耐性のある属性予測を可能にすること。

提案手法

• 固定長の画像領域シーケンスを、順序付き属性リストにマッピングする順序系列RNNエンコーダ・デコーダモデルを定式化する。
• エンコーダを用いて歩行者画像の局所的空間領域を処理し、再帰的符号化により空間的依存関係を捉える個体内属性コンテキストを取得する。
• 訓練データセットから視覚的に類似した例示画像を検索し、それらを最大プーリングにより符号化することで、個間類似性コンテキストを統合する。
• 符号化済みの画像特徴とコンテキスト特徴を統合し、デコーダを初期化する。デコーダは再帰的自己回帰予測により可変長の属性シーケンスを生成する。
• データ駆動型の再帰的アテンション機構を導入し、画像領域シーケンスと属性ラベルシーケンスをアライメントさせ、関連する視覚的キューに注目を向ける。
• 属性順序アンサンブルを適用し、10通りの属性順序のランダムな順列を用いて学習し、予測を平均化することで、ノイズや欠損のあるデータに対する不確実性を低減し、耐性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 個体内属性相関と個間画像類似性の共同モデリングは、低データ・低品質な条件下での歩行者属性認識を向上させ得るか？
• RQ2 順序系列アーキテクチャは、CNNベースの同時予測モデルと比較して、高次元の属性依存関係をどれほど効果的に捉えられるか？
• RQ3 個間類似性コンテキストを組み込むことで、PETAやRAPのような小規模ベンチマークにおけるモデルの耐性と性能はどの程度向上するか？
• RQ4 属性順序アンサンブルおよび再帰的アテンション機構の使用は、曖昧または低解像度な画像における予測精度と一般化性能を顕著に向上させるか？

主な発見

• PETAベンチマークにおいて、JRLモデルはmAP 85.67%を達成し、10通りのランダムな属性順序予測の平均（82.13%）と比較して3.54%の向上を示した。
• RAPベンチマークでは、JRLモデルが77.81%のmAPを達成し、10通りの属性順序アンサンブルの平均（74.74%）と比較して3.07%の向上を示した。
• 個間類似性コンテキストを除外すると、PETAでmAPが0.65%低下し、RAPで0.87%低下し、その重要性が示された。
• 再帰的アテンション機構を除外すると、PETAでmAPが1.64%低下し、RAPで1.85%低下し、視覚的および属性シーケンスのアライメントにおける価値が確認された。
• 定性的な分析から、JRLは『スカート』や『髪の毛が長い』といった属性を、視覚的に曖昧または遮蔽されている場合でも、順序コンテキスト（例：『年齢－髪の毛－スカート』の順序）を活用して正しく予測している。
• 一方、順序に依存しないモデル（例：DeepMAR）は、視覚的キューが弱い場合にこれらの属性を正しく予測できないことが明らかとなり、順序モデリングの優位性が示された。