[論文レビュー] Re-Identification with Consistent Attentive Siamese Networks

Meng Zheng, Srikrishna Karanam+2 more|arXiv (Cornell University)|Nov 19, 2018

Video Surveillance and Tracking Methods参考文献 45被引用数 15

ひとこと要約

本稿では、人物再識別における注目一致性と同一人物の不変特徴表現を同時に最適化する、新しいシアンズ学習アーキテクチャ「一貫性のある注意メカニズムを備えたシアンズネットワーク（CASN）」を提案する。アイデンティティラベルのみを教師信号として用いることで、CASNは同一人物の異なる視点からの画像間で一貫性のある注目マップをエンド・ツー・エンドに学習可能であり、これによりクロスビュー照合の耐障害性と注目可視化による解釈可能性の両方が実現される。

ABSTRACT

We propose a new deep architecture for person re-identification (re-id). While re-id has seen much recent progress, spatial localization and view-invariant representation learning for robust cross-view matching remain key, unsolved problems. We address these questions by means of a new attention-driven Siamese learning architecture, called the Consistent Attentive Siamese Network. Our key innovations compared to existing, competing methods include (a) a flexible framework design that produces attention with only identity labels as supervision, (b) explicit mechanisms to enforce attention consistency among images of the same person, and (c) a new Siamese framework that integrates attention and attention consistency, producing principled supervisory signals as well as the first mechanism that can explain the reasoning behind the Siamese framework's predictions. We conduct extensive evaluations on the CUHK03-NP, DukeMTMC-ReID, and Market-1501 datasets and report competitive performance.

研究の動機と目的

• 大きな視点変化、照明変化、隠蔽状態の下でも、頑健なクロスビュー人物再識別を実現すること。
• 従来のシアンズモデルでは明示的な注目一貫性が欠如している同一人物の画像間の注目不一致を是正すること。
• 追加のアノテーションを一切用いずに、アイデンティティレベルの教師信号のみでエンド・ツー・エンドで学習可能な空間的局所化を可能にすること。
• 画像ペア間の一貫性のある注目マップの可視化を通じて、モデルの予測を解釈可能にする。
• 一貫性のある注目と不変表現の両方を統合的に学習するフレームワークを構築し、照合性能の向上を図ること。

提案手法

• 同じ人物のペア画像を処理する重み共有の2ブランチシアンズネットワークアーキテクチャを設計する。
• アイデンティティラベルからクラス固有の勾配バックプロパゲーションに基づく微分可能注目メカニズムを導入し、空間的注目マップを生成する。
• 同一アイデンティティの画像ペア間の注目一貫性を、注目マップ間のL2距離を最小化するシアンズ注目損失によって強制する。
• エンド・ツー・エンド学習中に、注目一貫性を原理的かつ有効な教師信号として統合し、特徴の耐障害性を向上させる。
• 注目一貫性と特徴類似性の両方を同時に最適化するため、注目メカニズムとシアンズ対照的損失を統合する。
• 注目マップをモデルの解釈性のツールとして活用し、ネットワークが特定の画像ペアを照合または拒否する理由を説明する。

実験結果

リサーチクエスチョン

• RQ1 追加のアノテーションを一切用いずに、アイデンティティレベルの教師信号のみで注目マップをエンド・ツー・エンドに学習可能か？
• RQ2 異なる視点からの同一人物画像間で注目一貫性を強制することで、クロスビュー再識別性能が向上するか？
• RQ3 一貫性のある注目マップは、人物再識別におけるモデル予測の信頼性ある説明として機能するか？
• RQ4 シアンズフレームワークに注目一貫性を統合することで、特徴表現の質と照合精度にどのような影響を与えるか？
• RQ5 提案フレームワークは、ポーズ、視点、照明条件が異なる多様なデータセットに対しても汎用性を示せるか？

主な発見

• CUHK03-NPデータセットでは、CASN（PCBバックボーン）が71.5%のランク-1精度と64.4%のmAPを達成し、ベースラインのPCBよりもそれぞれ10.2%向上した。
• DukeMTMC-ReIDでは、CASN（PCB）が87.7%のランク-1と73.7%のmAPを達成し、ベースラインのPCBよりも6.0%と7.6%向上した。
• Market-1501では、CASN（PCB）が94.4%のランク-1と82.8%のmAPを達成し、ベースラインのPCBよりも2.0%と5.5%向上した。
• アブレーションスタディの結果、識別用注目（IA）モジュールとシアンズ注目（SA）モジュールの両方を追加した場合に最も高い性能向上が得られ、両モジュールの相補的役割が裏付けられた。
• 可視化結果から、シアンズ注目損失が、外見が似ているがポーズが異なる困難なケースにおいても、同一人物の画像ペア間での注目一貫性を顕著に向上させた。
• 注目マップは予測失敗の説明に成功した：例えば、誤ったランク-1照合は、一貫した注目が同様の衣類（例：スカート）に向けられていたことによって説明可能であり、正解の照合は注目が一貫していなかったため、スコアが低かった。