[論文レビュー] Neighbourhood-guided Feature Reconstruction for Occluded Person Re-Identification

Shijie Yu, Dapeng Chen+3 more|arXiv (Cornell University)|May 16, 2021

Video Surveillance and Tracking Methods参考文献 20被引用数 12

ひとこと要約

本論文は、類似したギャラリー画像からの非遮断部分を活用して、遮断されたクエリ画像の欠落した特徴を再構築する近隣誘導型特徴再構築手法を提案する。遮断に強いネットワークと外れ値を除去可能なグラフニューラルネットワークを用いることで、Occluded-DukeMTMCベンチマークで64.2%のmAPおよび67.6%のrank-1精度を達成し、従来の最先端手法よりもmAPで20ポイント以上優れている。

ABSTRACT

Person images captured by surveillance cameras are often occluded by various obstacles, which lead to defective feature representation and harm person re-identification (Re-ID) performance. To tackle this challenge, we propose to reconstruct the feature representation of occluded parts by fully exploiting the information of its neighborhood in a gallery image set. Specifically, we first introduce a visible part-based feature by body mask for each person image. Then we identify its neighboring samples using the visible features and reconstruct the representation of the full body by an outlier-removable graph neural network with all the neighboring samples as input. Extensive experiments show that the proposed approach obtains significant improvements. In the large-scale Occluded-DukeMTMC benchmark, our approach achieves 64.2% mAP and 67.6% rank-1 accuracy which outperforms the state-of-the-art approaches by large margins, i.e.,20.4% and 12.5%, respectively, indicating the effectiveness of our method on occluded Re-ID problem.

研究の動機と目的

• 監視映像における重度の遮断下での人物再識別という課題に対処すること。
• 隣接する非遮断画像を用いて、遮断された人物画像の特徴表現を向上させることで、欠落した身体部位を再構築すること。
• 外れ値を効果的にフィルタリングしながら、関連する近隣を自動で特定・利用できる堅牢な手法を開発すること。
• 遮断ありと遮断なしの人物照合性能のギャップを埋め、同等の特徴表現を可能にすること。

提案手法

• マスクされた人物画像から判別力のある局所特徴を学習するため、パーツベースの特徴抽出ネットワーク（FEN）を用いる。
• マスクRCNNが生成した人体マスクを用いて、可視部と遮断部を区別するため、遮断に強いネットワーク（OAN）が遮断状態を予測する。
• 可視部特徴に基づいて近隣を特定し、類似した非遮断領域を持つ画像に焦点を当てる。
• 外れ値に強いモジュールが信頼度スコアを割り当て、特徴変換モジュールが欠落した特徴を再構築する、外れ値を除去可能なグラフニューラルネットワーク（OR-GNN）を提案する。
• OR-GNNは、隣接情報を利用してノード特徴とエッジ重みを繰り返し精緻化し、部分特徴を個別に再構築してから連結して最終的な表現を得る。
• 最終的な特徴表現は検索に使用され、遮断ありと遮断なしの画像間の直接比較を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ギャラリー画像からの非遮断部分を、遮断された人物画像の欠落特徴の再構築に効果的に利用できるか？
• RQ2 外れ値をフィルタリングしながら、最も関連性が高く信頼性の高い近隣をどのように特定できるか？
• RQ3 グラフニューラルネットワークベースの特徴再構築は、平均プーリングのような単純な集約手法を上回るか？
• RQ4 提案手法は、大規模および小規模な遮断ありRe-IDベンチマークの両方で汎用性を示せるか？

主な発見

• 提案手法は、大規模なOccluded-DukeMTMCベンチマークで64.2%のmAPおよび67.6%のrank-1精度を達成し、以前のSOTA（HONet）をmAPで20.4ポイント、rank-1精度で12.5ポイント上回った。
• アブレーションスタディの結果、遮断に強いネットワーク（OAN）を削除すると、mAPは62.9%から52.3%に低下し、正確な近隣選択におけるその重要性が示された。
• 外れ値を除去可能なグラフニューラルネットワークは、外れ値に強いモジュールを含まないベースラインと比較して、mAPで1.3ポイント、rank-1で1.5ポイント向上させ、ノイズの多い近隣のフィルタリング効果を確認した。
• GNNを用いた特徴再構築は、ベースラインと比較してmAPが18.9ポイント、rank-1が7.0ポイント向上させ、学習された再構築手法の優位性を裏付けた。
• 本手法は再ランク付けと相乗効果を示す：Ours+RRを組み合わせると、mAPが67.3%、rank-1が68.9%に上昇し、Ours単体やRR単体を上回った。
• 可視化結果から、本手法はより正確な正例を検索し、類似した遮断によって生じる誤検出を回避できることを示した。