[論文レビュー] Re-ranking Person Re-identification with k-reciprocal Encoding

Zhun Zhong, Liang Zheng+2 more|arXiv (Cornell University)|Jan 29, 2017

Video Surveillance and Tracking Methods参考文献 25被引用数 106

ひとこと要約

本論文は、k-reciprocal neighbor encoding、Jaccard distance、local query expansion、および元の距離との融合を用いて、大規模データセット全体でランキングを改善する、完全自動の教師なし再ランキング手法を提案します。

ABSTRACT

When considering person re-identification (re-ID) as a retrieval process, re-ranking is a critical step to improve its accuracy. Yet in the re-ID community, limited effort has been devoted to re-ranking, especially those fully automatic, unsupervised solutions. In this paper, we propose a k-reciprocal encoding method to re-rank the re-ID results. Our hypothesis is that if a gallery image is similar to the probe in the k-reciprocal nearest neighbors, it is more likely to be a true match. Specifically, given an image, a k-reciprocal feature is calculated by encoding its k-reciprocal nearest neighbors into a single vector, which is used for re-ranking under the Jaccard distance. The final distance is computed as the combination of the original distance and the Jaccard distance. Our re-ranking method does not require any human interaction or any labeled data, so it is applicable to large-scale datasets. Experiments on the large-scale Market-1501, CUHK03, MARS, and PRW datasets confirm the effectiveness of our method.

研究の動機と目的

• ラベル付きデータや人間の介入なしで実行できる、再識別における重要であるが十分には検討されていないステップとして、再ランキングを動機づける。
• 再ランキングのために近傍情報を頑健に捉えるk-reciprocal encoding法を提案する。
• k-reciprocalベースのJaccard距離と元の外観距離を組み合わせた頑健な距離尺度を開発する。
• 追加の監視なしで、複数の大規模再識別データセットに対する性能を向上させる。
• 大規模ギャラリーに適した実用的でスケーラブルな教師なし再ランキングフレームワークを提供する。

提案手法

• probeとgallery間の元のペアワイズ距離を、メトリック（例: Mahalanobis）を用いて計算する。
• k-reciprocal最近傍を定義し、構造的展開則によってそれらをR*(p,k)へ拡張する。
• 隣接の有無をGaussian-distanceベースの重みで符号化して、k-reciprocal集合を重み付きベクトルVpとして表現する。
• 符号化されたベクトルを用いて、pとギャラリー画像giの間のJaccard様距離dJ(p, gi)を計算する。
• 局所的クエリ展開を適用してVpを豊かにするため、probeのk近傍の平均を用いてVgを平均化する（任意）。
• d*(p, gi) = (1 - λ) dJ(p, gi) + λ d(p, gi) の重み付き和で距離を融合し、それに基づいて再ランキングする。
• 頑健性と性能のためのパラメータ選択（k1, k2, λ）を分析する。

実験結果

リサーチクエスチョン

• RQ1 k-reciprocal encodingは、ベースラインおよび既存の再ランキング手法と比較して再識別の再ランキングを改善しますか？
• RQ2 提案されたJaccardベースの距離は、融合時に元の距離とどのように相互作用し、融合重みλの効果はどうか？
• RQ3 この手法は、画像ベースおよび動画ベースを含む多様な大規模データセットで教師なし設定において有効ですか？
• RQ4 近傍サイズk1およびk2と局所展開が性能と頑健性に与える影響は何ですか？
• RQ5 検出-再識別のエンドツーエンドパイプラインへの適用は一般化できますか？

主な発見

• 本手法はMarket-1501、CUHK03、MARS、PRWの各データセットで、rank-1精度とmAPを一貫して改善します。
• 提案した再ランキングと組み合わせたIDE(R)ベースラインで、Market-1501においてrank-1とmAPの両方で最新の結果を達成します。
• 強力な特徴（例: ResNet-50を用いたIDE）と統合することで著しい向上を得、AQEやCDMなどの既存の再ランキング手法を上回ります。
• 局所的クエリ展開とk-reciprocal特徴エンコードは、正の近傍を拡張し、近い近傍をより重みづけすることで頑健性に寄与します。
• Jaccardベースの距離と元の距離の融合は頑健な最終ランキングを提供し、単独使用時（λ = 0）でも効果的に改善され、融合時にはさらに改善（λは約0.3）を得ます。
• 複数データセット（Market-1501、CUHK03、MARS、PRW）での実験は、エンドツーエンドの検出–再識別シナリオを含む広範な適用性を示しています。