[論文レビュー] Sequence-based Person Attribute Recognition with Joint CTC-Attention Model

Hao Liu, Jingjing Wu+3 more|arXiv (Cornell University)|Nov 20, 2018

Video Surveillance and Tracking Methods参考文献 27被引用数 11

ひとこと要約

本稿では、画像と属性ラベルを両方ともシーケンスにエンコードするための共同CTC-アテンションモデル（JCM）を提案する。CTC損失を用いて特徴エンコーディングを向上させ、アテンション機構を用いて意味的関係をデコードする。この手法は、Market-1501、DukeMTMC、PETAの各データセットで最先端の性能を達成し、Market-1501では91.3%のRank-1精度と89.7%のmAPを達成した。属性の順序に頼らない堅牢性と、共同学習による再識別性能の向上が確認された。

ABSTRACT

Attribute recognition has become crucial because of its wide applications in many computer vision tasks, such as person re-identification. Like many object recognition problems, variations in viewpoints, illumination, and recognition at far distance, all make this task challenging. In this work, we propose a joint CTC-Attention model (JCM), which maps attribute labels into sequences to learn the semantic relationship among attributes. Besides, this network uses neural network to encode images into sequences, and employs connectionist temporal classification (CTC) loss to train the network with the aim of improving the encoding performance of the network. At the same time, it adopts the attention model to decode the sequences, which can realize aligning the sequences and better learning the semantic information from attributes. Extensive experiments on three public datasets, i.e., Market-1501 attribute dataset, Duke attribute dataset and PETA dataset, demonstrate the effectiveness of the proposed method.

研究の動機と目的

• 人物再識別と属性認識における歩行者属性間の意味的相関を扱うため。
• 属性の順序に敏感で、シーケンスの整合性が弱い既存手法の限界を克服するため。
• 視点や照明の変化、長距離検出の変動に強い性能を実現するため、シーケンス学習によって属性関係をモデル化する。
• 相互に性能向上を図るため、再識別と属性認識を共同で学習するため。
• 手動での属性順序指定を不要とするエンドツーエンドのシーケンスモデリングのため、CTC損失とアテンションベースのデコードを導入するため。

提案手法

• 意味的関係を表現するために、事前に定義されたマッピングテーブルを用いて、すべての歩行者属性を固定長の数値シーケンスに変換する。
• 畳み込みニューラルネットワーク（CNN）を用いて、入力画像を順序付きの特徴表現にエンコードする。
• 接続主義的時系列分類（CTC）損失を適用し、入力と出力のシーケンス間の正確なアライメントを必要とせず、堅牢なシーケンスエンコーディングを可能にする。
• Transformerベースのアテンション機構を用いて、属性シーケンスを並列にデコードし、一度に全シーケンスの予測を可能とし、意味的特徴学習を向上させる。
• ハイパーパrameter λ を用いた重み付き損失関数により、属性認識と人物再識別の共同学習を統合する。
• 複数のデータセット（例：PETAのTownCenterおよびその他のデータセット）を用いたハイブリッドトレーニングにより、一般化性能とモデルの堅牢性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 属性をシーケンスとしてモデル化することで、属性間の意味的相関を捉えることにより、認識性能の向上が図れるか？
• RQ2 CTC損失を用いることで、正確な真値アライメントを必要とせずに、画像から属性シーケンスへの意味的対応付けを学習できるようになるか？
• RQ3 アテンションベースのシーケンスデコードは、属性順序に頼らない性能向上をどの程度達成できるか？
• RQ4 属性認識と人物再識別の共同学習は、両タスクの性能にどのように影響を与えるか？
• RQ5 ハイブリッドトレーニングのおかげで、属性順序やデータセットの分布の変動に頼らない堅牢性が確保されるか？

主な発見

• 共同CTC-アテンションモデル（JCM）は、Market-1501データセットで91.3%のRank-1精度と89.7%のmAPを達成し、最先端手法を上回った。
• 個々の属性（例：'age' や 'hat'）を削除しても高い性能を維持し、Rank-1精度がそれぞれ2.5%および2.7%低下するにとどまった。これは、これらの属性が強い寄与をしていることを示している。
• 異なるマッピングテーブル設定においても一貫した性能を示しており、CTC損失が順序に依存しない学習を可能にしていることが確認された。
• 属性認識と人物再識別の共同学習により優れた結果が得られた。Rank-1が91.3%、mAPが89.7%であり、別個学習時（89.0%と88.8%）と比較して顕著な向上が確認された。
• PETAの複数データセットを用いたハイブリッドトレーニングにより一般化性能が著しく向上し、TownCenterでは87.7%のRank-1と91.8%のmAPを達成。別個学習（83.9%と90.1%）を上回った。
• Market-1501およびPETAの両データセットにおいて、ベースCNN層（28×2048）から抽出した特徴が、ドレインスモールド（1024次元）の特徴を上回る性能を示しており、より深い特徴がより判別力があることを示している。