[논문 리뷰] Deep Learning-based Occluded Person Re-identification: A Survey

Yunjie Peng, Saihui Hou외 4명|arXiv (Cornell University)|2022. 07. 29.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

이 종합적 서베이는 깊이 학습 기반의 가림된 인체 재식별(Re-ID)에 대해 포괄적인 분석을 제공하며, 위치의 비일치, 척도의 비일치, 노이즈 정보, 정보 누락이라는 네 가지 핵심 문제에 따라 방법을 분류한다. 네 가지 벤치마크 데이터셋에서 최근 모델을 평가한 결과, 주의 메커니즘과 보조 감독이 성능 향상에 크게 기여하며, 최상위 방법들은 Occ-ReID에서 86.3% mAP, Occ-DukeMTMC에서 87.3% mAP를 기록하였다.

ABSTRACT

Occluded person re-identification (Re-ID) aims at addressing the occlusion problem when retrieving the person of interest across multiple cameras. With the promotion of deep learning technology and the increasing demand for intelligent video surveillance, the frequent occlusion in real-world applications has made occluded person Re-ID draw considerable interest from researchers. A large number of occluded person Re-ID methods have been proposed while there are few surveys that focus on occlusion. To fill this gap and help boost future research, this paper provides a systematic survey of occluded person Re-ID. Through an in-depth analysis of the occlusion in person Re-ID, most existing methods are found to only consider part of the problems brought by occlusion. Therefore, we review occlusion-related person Re-ID methods from the perspective of issues and solutions. We summarize four issues caused by occlusion in person Re-ID, i.e., position misalignment, scale misalignment, noisy information, and missing information. The occlusion-related methods addressing different issues are then categorized and introduced accordingly. After that, we summarize and compare the performance of recent occluded person Re-ID methods on four popular datasets: Partial-ReID, Partial-iLIDS, Occluded-ReID, and Occluded-DukeMTMC. Finally, we provide insights on promising future research directions.

연구 동기 및 목표

• 가림에 의해 유도되는 문제에 초점을 맞추어, 가림된 인체 Re-ID를 위한 딥러닝 기반 방법을系통적으로 분류하고 분석하는 것.
• 가림으로 인해 발생하는 네 가지 주요 문제인 위치의 비일치, 척도의 비일치, 노이즈 정보, 정보 누락에 따라 기존 접근법을 식별하고 분류하는 것.
• Partial-ReID, Partial-iLIDS, Occluded-ReID, Occluded-DukeMTMC와 같은 네 가지 널리 사용되는 가림된 Re-ID 벤치마크에서 최근 최첨단 방법의 성능을 비교하는 것.
• 현재의 한계와 추세를 비판적으로 검토한 바탕으로, 가림된 인체 Re-ID 분야에서 유망한 미래 연구 방향을 제안하는 것.

제안 방법

• 논문은 위치의 비일치, 척도의 비일치, 노이즈 정보, 정보 누락이라는 네 가지 가림에 기인한 문제를 바탕으로 기존 방법을 다차원 분류체계로 정리한다.
• 각 문제 유형에 대해 매칭 기반 방법, 보조 모델, 주의 메커니즘(예: 자기주의/Transformer), 이미지 변환 기법 등의 기술적 해결책을 검토한다.
• Partial-ReID, Partial-iLIDS, Occluded-ReID, Occluded-DukeMTMC와 같은 네 가지 표준 데이터셋에서 랭크-1 정확도와 평균 평균 정밀도(mAP) 등의 성능 지표를 사용해 방법을 평가한다.
• 위치 및 노이즈 문제를 해결하기 위해 주의 메커니즘(MHSA-Net, PAT, FED 등)과 추가 감독(HPNet, PFD 등)의 통합을 분석한다.
• 공간적 또는 시간적 복구 기법을 사용하여 정보 누락 문제를 해결하는 방법들을 비교하며, 예를 들어 RFCNet의 이중 경로 복구 기법을 포함한다.
• 부분 이미지와 전체 이미지를 보정하기 위해 조건부 변환을 학습하는 이미지 변환 기법을 평가하지만, 이는 높은 계산 비용과 낮은 성능을 보였다.

실험 결과

연구 질문

• RQ1 가림에 의해 인체 Re-ID에서 유도되는 네 가지 주요 문제는 무엇이며, 이들이 모델 성능에 어떻게 영향을 미치는가?
• RQ2 기존의 딥러닝 기반 방법들은 가림된 Re-ID에서 위치의 비일치와 척도의 비일치 문제를 어떻게 해결하는가?
• RQ3 주의 메커니즘과 보조 감독은 가림된 Re-ID에서 노이즈 및 정보 누락 문제를 완화하는 데 어떤 역할을 하는가?
• RQ4 매칭, 주의 메커니즘, 이미지 변환 등의 다양한 기술적 접근 방식이 표준 벤치마크에서 성능 측면에서 어떻게 비교되는가?
• RQ5 현재의 방법론적 한계와 성능 추세를 바탕으로, 가림된 인체 Re-ID 분야에서 가장 유망한 미래 연구 방향은 무엇인가?

주요 결과

• Occ-DukeMTMC 데이터셋에서 최상위 성능을 기록한 HPNet는 추가 감독을 사용하여 87.3% mAP를 달성했으며, 이는 이전 방법들보다 뚜렷이 뛰어난 성능이었다.
• Occ-ReID 데이터셋에서 FED 모델는 주의 메커니즘과 추가 감독을 활용해 노이즈 및 정보 누락 문제를 처리하며 86.3% mAP를 기록했다.
• PAT 및 FED와 같은 주의 메커니즘을 사용한 방법들은 Occ-ReID에서 80% 이상의 mAP를 달성했으며, 이는 부분 이미지에서 장거리 의존성을 모델링하는 자기주의의 효과를 입증한다.
• 이미지 변환 기법은 부분 이미지와 전체 이미지를 보정하는 데 те론적으로 유망하지만, 다른 방법들에 비해 낮은 성능과 높은 계산 비용을 보였다.
• 보조 모델과 추가 감독(예: HPNet, PFD)은 Occ-DukeMTMC와 Occ-ReID 양쪽에서 일관되게 성능 향상을 이끌었으며, 특히 위치 및 노이즈 관련 문제 해결에 효과적이었다.
• RFCNet에서 공간적 및 시간적 복구 기반의 통합은 Occ-DukeMTMC에서 63.9% Rank-1 및 54.5% mAP를 기록했으며, 이는 다중 모odal 정보 복구의 가치를 보여주었다.