[論文レビュー] Deep Sequential Multi-camera Feature Fusion for Person Re-identification.

K L Navaneet, Ravi Kiran Sarvadevabhatla+2 more|arXiv (Cornell University)|Jul 19, 2018

Video Surveillance and Tracking Methods被引用数 2

ひとこと要約

本稿では、オペレータのフィードバックを用いてカメラ間で深層特徴を統合することで、反復的にターゲットの順位付けを改善する逐次的マルチカメラ再識別手法を提案する。インクリメンタルなクエリ表現の最適化を独自に定式化し、新しい評価プロトコルを導入することで、Market-1501 および DukeMTMC-reID においてベースラインよりも顕著な性能向上を達成し、オペレータのパフォーマンスも優れている。

ABSTRACT

Given a target image as query, person re-identification systems retrieve a ranked list of candidate matches on a per-camera basis. In deployed systems, a human operator scans these lists and labels sighted targets by touch or mouse-based selection. However, classical re-id approaches generate per-camera lists independently. Therefore, target identifications by operator in a subset of cameras cannot be utilized to improve ranking of the target in remaining set of network cameras. To address this shortcoming, we propose a novel sequential multi-camera re-id approach. The proposed approach can accommodate human operator inputs and provides early gains via a monotonic improvement in target ranking. At the heart of our approach is a fusion function which operates on deep feature representations of query and candidate matches. We formulate an optimization procedure custom-designed to incrementally improve query representation. Since existing evaluation methods cannot be directly adopted to our setting, we also propose two novel evaluation protocols. The results on two large-scale re-id datasets (Market-1501, DukeMTMC-reID) demonstrate that our multi-camera method significantly outperforms baselines and other popular feature fusion schemes. Additionally, we conduct a comparative subject-based study of human operator performance. The superior operator performance enabled by our approach makes a compelling case for its integration into deployable video-surveillance systems.

研究の動機と目的

• 古典的な人物再識別システムがカメラを独立して処理するという限界に対処する。これは、オペレータのフィードバックを複数のカメラ間で再利用できないことを意味する。
• 1台のカメラでラベル付けされたマッチング情報を他のカメラの順位付けに組み込むことで、ターゲット順位付けの単調な改善を可能にする。
• クエリ埋め込み表現の段階的精錬を支援する、深層特徴表現上で動作する新しい統合関数を設計する。
• 提案されたインタラクティブで逐次のマルチカメラ再識別設定に適した評価プロトコルを構築する。既存のベンチマークでは不十分であるため。
• 比較的実験的検証を通じて、本手法の優位性を実証する。特に、人間のオペレータのパフォーマンス分析を含む。

提案手法

• 本手法は、複数のカメラに跨るクエリと候補マッチの深層特徴を逐次的に統合する統合関数を採用する。
• 人間オペレータからのフィードバックを用いて、クエリ表現を段階的に改善する独自の最適化手順を定式化する。
• 再識別タスクを逐次的プロセスとしてモデル化し、1台のカメラでのオペレータラベル付きマッチングが、以降のカメラでの順位付けを向上させる。
• 時間的・空間的整合性を保持しながら、マルチカメラ特徴を統合する新しい特徴統合メカニズムを導入する。
• オペレータの入力に応じて即座に順位付けの改善が可能であるため、監視システムにおけるリアルタイム導入を可能にする。
• 本手法のインタラクティブで逐次のマルチカメラ再識別設定における性能を公に評価するための、2つの新しい評価プロトコルを導入する。

実験結果

リサーチクエスチョン

• RQ1 1台のカメラでのオペレータフィードバックを、マルチカメラ再識別システムにおいて他のカメラでのターゲット順位付けの向上に活用できるか？
• RQ2 深層特徴表現を、リアルタイムでの改善を可能にする逐次的・段階的な方法でカメラ間で統合するにはどうすればよいか？
• RQ3 インタラクティブで逐次のマルチカメラ再識別システムを公正に評価するには、どのような評価プロトコルが必要か？
• RQ4 本手法は、ベースラインおよび既存の特徴統合技術と比較して、正確性と頑健性の面で優れているか？
• RQ5 本手法は、ターゲット同定タスクにおける人間オペレータのパフォーマンスにどのような影響を与えるか？

主な発見

• 提案された逐次的マルチカメラ再識別手法は、Market-1501 および DukeMTMC-reID データセットにおいて、古典的およびベースラインの特徴統合手法を顕著に上回る。
• オペレータのフィードバックを用いてクエリ表現を段階的に精錬することで、ターゲット順位付けの単調な改善が可能である。
• 本稿で提案された新しい評価プロトコルは、インタラクティブで逐次の再識別システムを公正に評価するために不可欠であり、標準的なベンチマークには直接適用できない。
• 人間オペレータは、本手法を用いることで優れたパフォーマンスを発揮する。これは、実世界の監視システムへの実用的利点を示している。
• 提案された最適化によるカメラ間の深層特徴の統合は、再識別精度に一貫的で測定可能な向上をもたらす。