[論文レビュー] Viewpoint-aware Progressive Clustering for Unsupervised Vehicle Re-identification

Aihua Zheng, X.H. Sun+2 more|arXiv (Cornell University)|Nov 18, 2020

Video Surveillance and Tracking Methods参考文献 44被引用数 4

ひとこと要約

本稿では、予測された視点によって特徴空間を分割し、段階的クラスタリングを適用することでクラス内ばらつきを低減する、新しい非教師あり車両再識別手法であるViewpoint-aware Progressive Clustering (VAPC) を提案する。この手法は、VeRiおよびVeRi-Wildベンチマークで最先端の性能を達成しており、視点予測が不完全であっても、非教師設定下でVeRi-776でRank-1精度76.2%を達成している。

ABSTRACT

Vehicle re-identification (Re-ID) is an active task due to its importance in large-scale intelligent monitoring in smart cities. Despite the rapid progress in recent years, most existing methods handle vehicle Re-ID task in a supervised manner, which is both time and labor-consuming and limits their application to real-life scenarios. Recently, unsupervised person Re-ID methods achieve impressive performance by exploring domain adaption or clustering-based techniques. However, one cannot directly generalize these methods to vehicle Re-ID since vehicle images present huge appearance variations in different viewpoints. To handle this problem, we propose a novel viewpoint-aware clustering algorithm for unsupervised vehicle Re-ID. In particular, we first divide the entire feature space into different subspaces according to the predicted viewpoints and then perform a progressive clustering to mine the accurate relationship among samples. Comprehensive experiments against the state-of-the-art methods on two multi-viewpoint benchmark datasets VeRi and VeRi-Wild validate the promising performance of the proposed method in both with and without domain adaption scenarios while handling unsupervised vehicle Re-ID.

研究の動機と目的

• 極端な視点変化によるクラス内差異の拡大とクラス間類似性の増大という、車両Re-IDにおける課題に対処すること。
• 人物Re-IDのクラスタリング手法を車両に直接適用する際の限界、特に同じ車両が異なる視点で撮影された場合よりも、類似した視点で撮影された異なる車両同士がより類似して見えるという「類似性ジレンマ」を克服すること。
• ラベル付きソースドメインデータを必要としない、ターゲット専用の非教師あり学習フレームワークを構築することにより、高コストなアノテーションを伴うドメイン適応に依存しないこと。
• 視点に配慮した特徴空間の分割と、視点間で段階的にクラスタを統合する戦略を活用することで、非教師あり車両Re-IDにおけるクラスタリング精度を向上させること。

提案手法

• 事前学習済みの視点アノテーションを用いて、車両画像の視点を予測する視点に配慮したネットワークを提案し、特徴空間の分割に用いる事前知識として機能させる。
• 予測された視点に基づいて特徴空間を部分空間に分割し、各視点グループ内でクラスタリングを実施することで、視点間ばらつきを低減し、クラスタリングの負担を軽減する。
• 同一視点内のクラスタから出発し、視点間の類似度が高いクラスタを段階的に統合する、段階的クラスタリング戦略を実装する。
• 閾値パラメータ $\tilde{k}$ を用いたノイズ選択メカニズムを導入し、クラスタリング中にノイズの多いサンプルを特定・分離することで、誤分類に対する耐性を高める。
• $t_i$ 番目の近隣ペairから導出される距離閾値 $\tau$ を用いて、視点間のクラスタ統合を制御し、クラスタの凝集性と精度のバランスを取る。
• 疑似ラベル付きクラスタを繰り返し用いてRe-IDモデルを微調整することで、複数段階にわたる段階的プロセスで特徴とクラスタリング品質を改善する。

Figure 1: Illustration of major challenges in vehicle Re-ID. Different vehicles with the same viewpoint have higher visual similarity than those same vehicles with different viewpoints, and it is very common in real scenes that the same vehicle with different viewpoints sometimes has a similar appea

実験結果

リサーチクエスチョン

• RQ1 視点に配慮したクラスタリングにより、視点の変化によって生じるクラス内ばらつきを低減することで、非教師あり車両Re-ID性能を顕著に向上させることができるか？
• RQ2 視点間で段階的にクラスタを統合する戦略は、単一段階クラスタリングと比較して、車両Re-IDにおけるクラスタリング精度をどのように向上させるか？
• RQ3 視点予測が不正確な場合、提案手法の性能はどの程度低下するか。また、視点分類器の精度が低い場合でも、依然として頑健に機能するか？
• RQ4 実世界の状況において、ノイズの多いサンプルがクラスタリング品質に与える影響を軽減するための、提案されたノイズ選択戦略はどの程度効果的か？

主な発見

• 提案手法VAPCは、非教師設定下でVeRi-776ベンチマークでRank-1精度76.2%を達成し、既存の最先端の非教師あり手法を上回っている。
• 視点分類器の精度が0.5にまで低下しても、依然としてRank-1精度70%を維持しており、ノイズや不正確な視点予測に対しても頑健であることが示された。
• 段階的クラスタリング戦略により、調整済み相互情報量（AMI）で測定したクラスタリング品質が著しく向上し、繰り返しクラスタリングステップを経るごとに性能が段階的に向上した。
• パラメータ解析の結果、$t_i = 1200$ および $\tilde{k} = 2$ が最適な性能をもたらし、特にVeRi-Wildのようなクラス間差が小さいデータセットにおいて、クラスタ統合の正確性とノイズ制御のバランスを最適に保っていることが分かった。
• VeRi-776およびVeRi-Wildの両方で優れた性能を発揮しており、ソースドメインのアノテーションを一切必要としない点を除き、多視点の多様な実世界シナリオにおいて有効性が検証された。
• ノイズ選択戦略は、ノイズの多いサンプルの悪影響を効果的に低減し、繰り返しクラスタリング中の性能の崩壊を防ぎ、安定性を向上させた。

Figure 2: The overview of our method framework. We first predict each viewpoint, and then the viewpoint-aware unlabeled training set is input to the CNN model for feature extraction, which can be divided into different directional feature clusters. Then we will go through a recognition stage to make