[論文レビュー] Dynamic Label Graph Matching for Unsupervised Video Re-Identification

Mang Ye, J. Andy+3 more|arXiv (Cornell University)|Sep 27, 2017

Video Surveillance and Tracking Methods参考文献 11被引用数 33

ひとこと要約

本稿では、動的ラベルグラフマッチング（DGM）を提案する。DGMは、特徴表現とグラフ構造を動的に更新することで、クロスカメララベル推定を改善する反復的で教師なしの動画再識別手法である。DGMは、ソフトラベル再重み付けと判別的メトリック学習を活用することで、MARSでは教師ありベースラインと同等の性能を達成し、最先端の教師なし手法を上回る。

ABSTRACT

Label estimation is an important component in an unsupervised person re-identification (re-ID) system. This paper focuses on cross-camera label estimation, which can be subsequently used in feature learning to learn robust re-ID models. Specifically, we propose to construct a graph for samples in each camera, and then graph matching scheme is introduced for cross-camera labeling association. While labels directly output from existing graph matching methods may be noisy and inaccurate due to significant cross-camera variations, this paper proposes a dynamic graph matching (DGM) method. DGM iteratively updates the image graph and the label estimation process by learning a better feature space with intermediate estimated labels. DGM is advantageous in two aspects: 1) the accuracy of estimated labels is improved significantly with the iterations; 2) DGM is robust to noisy initial training data. Extensive experiments conducted on three benchmarks including the large-scale MARS dataset show that DGM yields competitive performance to fully supervised baselines, and outperforms competing unsupervised learning methods.

研究の動機と目的

• 監視付きアノテーションが高コストで現実的でない大規模なカメラネットワークにおける教師なし人物再識別という課題に対処すること。
• 顕著な外見の変化とノイズの多い初期データがある中でも、クロスカメララベル推定の正確性を向上させること。
• 特徴表現とラベル割り当ての両方を反復的に精錬することで、より良い再識別性能を実現する、頑健な反復フレームワークを開発すること。
• グラフマッチングによる教師なしラベル推定が、完全に教師ありのベースラインと同等の性能を達成できることを示すこと。

提案手法

• 視覚特徴を用いて各カメラごとに二部グラフを構築し、人物サンプルをノードとし、それらのペアワイズ類似度をエッジとしてモデル化する。
• グラフマッチングを適用して、カメラ内関係とグローバルコスト最小化に基づき、クロスカメラ対応（マッチングあり／なしのペア）を推定する。
• 中間で推定されたラベルを用いて特徴空間を反復的に精錬する動的更新メカニズムを導入し、マッチング精度を向上させる。
• ノイズの多い中間予測の影響を軽減するために、ソフトラベル再重み付け戦略を採用する。
• 精錬されたラベルを用いて各イテレーションで判別的メトリックを学習し、その後続のグラフマッチングの品質をさらに向上させる。
• グラフマッチングに二段階のコスト関数を用いる：1つはカメラ内構造用、もう1つはカメラ間対応用。これにより、変動に対する耐性が向上する。

実験結果

リサーチクエスチョン

• RQ1 特徴表現とラベル推定の反復的精錬は、教師なし動画再識別におけるクロスカメララベル正確性を向上させ得るか？
• RQ2 大規模な外見の変化を伴うカメラ間で、動的グラフマッチングは静的グラフマッチングよりも優れているか？
• RQ3 干渉要因や複数のトラジェクトリセグメントといった実用的課題に対し、本手法はどの程度有効性を保っているか？
• RQ4 グラフマッチングによる教師なしラベル推定は、完全に教師ありの再識別ベースラインと同等の性能を達成できるか？

主な発見

• MARSデータセットにおいて、DGMはIDEベースラインと組み合わせて83.4%のランク-1精度を達成し、完全に教師ありのIDEベースライン（88.0%）に近い性能を示した。
• PRID-2011では、XQDAベースラインを用いたDGMが70.7%のランク-1精度を達成し、最良の教師なし手法（UnKISS）を12.5ポイント上回った。
• 実用的条件下でも安定した性能を維持：PRID-2011において50%の干渉要因や50%のトラジェクトリセグメントがある状況でも、ランク-1精度の低下は2%未満にとどまった。
• ラベル再重み付けは、特にノイズの多い環境下で信頼度の低い正例マッチングの影響を軽減することで、著しく耐性を向上させた。
• DGMは、DVDL、FV3D、STF3D、UnKISSを含む、すべての3つのベンチマークで最先端の教師なし動画再識別手法を上回った。
• 反復的精錬プロセスにより、次第に正確なラベルと判別的メトリックが得られ、動的学習の有効性が示された。