[論文レビュー] Deep Learning-based Occluded Person Re-identification: A Survey

Yunjie Peng, Saihui Hou+4 more|arXiv (Cornell University)|Jul 29, 2022

Video Surveillance and Tracking Methods被引用数 4

ひとこと要約

本サーベイは、深層学習に基づく遮蔽付き人物再識別（Re-ID）について包括的な分析を提供し、位置ずれ、スケールずれ、ノイズ情報、欠落情報の4つの主要な問題に基づいて手法を分類している。4つのベンチマークデータセット上で最近のモデルを評価した結果、注目メカニズムと補助的監視が性能向上に顕著に寄与しており、最良の手法ではOcc-ReIDで86.3% mAP、Occ-DukeMTMCで87.3% mAPを達成した。

ABSTRACT

Occluded person re-identification (Re-ID) aims at addressing the occlusion problem when retrieving the person of interest across multiple cameras. With the promotion of deep learning technology and the increasing demand for intelligent video surveillance, the frequent occlusion in real-world applications has made occluded person Re-ID draw considerable interest from researchers. A large number of occluded person Re-ID methods have been proposed while there are few surveys that focus on occlusion. To fill this gap and help boost future research, this paper provides a systematic survey of occluded person Re-ID. Through an in-depth analysis of the occlusion in person Re-ID, most existing methods are found to only consider part of the problems brought by occlusion. Therefore, we review occlusion-related person Re-ID methods from the perspective of issues and solutions. We summarize four issues caused by occlusion in person Re-ID, i.e., position misalignment, scale misalignment, noisy information, and missing information. The occlusion-related methods addressing different issues are then categorized and introduced accordingly. After that, we summarize and compare the performance of recent occluded person Re-ID methods on four popular datasets: Partial-ReID, Partial-iLIDS, Occluded-ReID, and Occluded-DukeMTMC. Finally, we provide insights on promising future research directions.

研究の動機と目的

• 遮蔽による影響を受ける人物Re-IDにおける深層学習手法を体系的に分類・分析すること。特に、遮蔽によって引き起こされる特定の課題に焦点を当てる。
• 遮蔽によって引き起こされる4つの主な問題（位置ずれ、スケールずれ、ノイズ情報、欠落情報）に起因する既存のアプローチを特定・分類すること。
• Partial-ReID、Partial-iLIDS、Occluded-ReID、Occluded-DukeMTMCという4つの広く使われている遮蔽付きRe-IDベンチマーク上で、最近の最先端手法の性能を比較すること。
• 現在の限界やトレンドを厳密にレビューした上で、遮蔽付き人物Re-ID分野における有望な今後の研究方向性を提示すること。

提案手法

• 本論文は、遮蔽に起因する4つの問題（位置ずれ、スケールずれ、ノイズ情報、欠落情報）に基づき、既存手法を多次元的分類体系に整理している。
• 各問題カテゴリに属する技術的解決策をレビューし、マッチングベースの手法、補助モデル、注目メカニズム（例：自己注意/Transformer）、画像変換技術を含む。
• 標準的な4つのデータセット（Partial-ReID、Partial-iLIDS、Occluded-ReID、Occluded-DukeMTMC）上で、Rank-1正答率や平均平均精度（mAP）などの性能指標を用いて手法を評価している。
• 位置ずれやノイズ問題に対処するため、注目メカニズム（例：MHSA-Net、PAT、FED）と追加の監視（例：HPNet、PFD）の統合を分析している。
• 空間的または時間的回復手法を用いて欠落情報を補完する手法（例：RFCNetの二重パス回復機構）を比較している。
• 部分画像と全体画像を一致させるために条件付き変換を学習する画像変換技術を評価しているが、他の手法に比べて計算コストが高く、性能は低い傾向にある。

実験結果

リサーチクエスチョン

• RQ1 人物Re-IDにおける遮蔽によって引き起こされる4つの主な問題とは何か。それらはモデル性能にどのように影響を与えるか？
• RQ2 既存の深層学習ベースの手法は、遮蔽付きRe-IDにおける位置ずれとスケールずれをどのように解決しているか？
• RQ3 注目メカニズムと補助的監視は、遮蔽付きRe-IDにおけるノイズ情報と欠落情報の問題を軽減するために果たす役割は何か？
• RQ4 マッチング、注目、画像変換などの異なる技術的ルートは、標準ベンチマーク上で性能面でどのように比較できるか？
• RQ5 現在の手法的限界や性能トレンドに基づいて、遮蔽付き人物Re-ID分野における最も有望な今後の研究方向性は何か？

主な発見

• Occ-DukeMTMCデータセットで最も高い性能を示したHPNetは、追加の監視を用いて87.3% mAPを達成し、初期の手法を著しく上回った。
• Occ-ReIDデータセットでは、FEDモデルが注目メカニズムと追加の監視を活用して86.3% mAPを達成し、ノイズや欠落情報の処理に有効であった。
• PAT や FED といった注目メカニズムを用いた手法は、Occ-ReID で 80% 以上の mAP を達成し、部分画像における長距離依存関係をモデル化する自己注意の有効性を示した。
• 画像変換技術は、部分画像と全体画像を一致させるという理論的には有望なアプローチではあるが、他の手法に比べて性能は低く、計算コストが高かった。
• 補助モデルや追加の監視（例：HPNet、PFD）は、Occ-DukeMTMC および Occ-ReID の両方で一貫して性能向上をもたらし、特に位置ずれやノイズ関連の問題に対して顕著であった。
• RFCNetにおける空間的・時間的回復メカニズムの統合は、Occ-DukeMTMC で 63.9% の Rank-1 正答率と 54.5% の mAP を達成し、マルチモーダル情報回復の価値を示した。