[논문 리뷰] Neighbourhood-guided Feature Reconstruction for Occluded Person Re-Identification

Shijie Yu, Dapeng Chen외 3명|arXiv (Cornell University)|2021. 05. 16.

Video Surveillance and Tracking Methods참고 문헌 20인용 수 12

한 줄 요약

이 논문은 유사한 갤러리 이미지에서 비차폐된 부분을 활용하여 장애물에 가려진 쿼리 이미지의 누락된 특징을 복원하는 이웃 가이드드 특징 복원 방법을 제안한다. 차폐 인식 네트워크와 이상치 제거 기능을 갖춘 그래프 신경망을 사용하여, Occluded-DukeMTMC 벤치마크에서 64.2%의 mAP와 67.6%의 랭크-1 정확도를 달성하며, 이는 이전 최고 성능(SOTA) 방법보다 mAP 기준으로 20个百分点 이상 뛰어나다.

ABSTRACT

Person images captured by surveillance cameras are often occluded by various obstacles, which lead to defective feature representation and harm person re-identification (Re-ID) performance. To tackle this challenge, we propose to reconstruct the feature representation of occluded parts by fully exploiting the information of its neighborhood in a gallery image set. Specifically, we first introduce a visible part-based feature by body mask for each person image. Then we identify its neighboring samples using the visible features and reconstruct the representation of the full body by an outlier-removable graph neural network with all the neighboring samples as input. Extensive experiments show that the proposed approach obtains significant improvements. In the large-scale Occluded-DukeMTMC benchmark, our approach achieves 64.2% mAP and 67.6% rank-1 accuracy which outperforms the state-of-the-art approaches by large margins, i.e.,20.4% and 12.5%, respectively, indicating the effectiveness of our method on occluded Re-ID problem.

연구 동기 및 목표

• 감시 영상에서 심한 장애물에 의한 사람 재식별 문제를 해결하기 위해.
• 이웃 비차폐 이미지에서 유사한 비차폐 영역을 이용해 장애물에 가려진 사람 이미지의 특징 표현을 향상시키기 위해.
• 유의미한 이웃을 자동으로 식별하고 이상치를 제거하는 강건한 방법을 개발하기 위해.
• 장애물이 있는 경우와 없는 경우의 사람 매칭 간 성능 격차를 줄이기 위해, 유사한 특징 표현을 가능하게 하기 위해.

제안 방법

• 마스크된 사람 이미지에서 분류 가능한 국소적 특징을 학습하기 위해 부분 기반 특징 추출 네트워크(FEN)를 사용한다.
• Mask R-CNN가 생성한 인간 마스크를 이용해 차폐 상태를 예측하는 차폐 인식 네트워크(OAN)를 사용하여 가시 영역과 차폐 영역을 구분한다.
• 가시 영역 특징을 기반으로 이웃을 선택하며, 유사한 비차폐 영역을 가진 이미지에 집중한다.
• 이상치 인식 모듈이 신뢰도 점수를 할당하고 특징 변환 모듈이 누락된 특징을 복원하는 구성으로 이루어진 이상치 제거 기능이 있는 그래프 신경망(OR-GNN)을 제안한다.
• OR-GNN는 이웃 정보를 이용해 노드 특징과 간선 가중치를 반복적으로 개선하며, 하위 특징은 개별적으로 복원되고 최종 표현을 위해 연결된다.
• 최종 특징 표현은 검색에 사용되며, 장애물이 있는 이미지와 비차폐 이미지 간 직접 비교를 가능하게 한다.

실험 결과

연구 질문

• RQ1 갤러리 이미지의 비차폐 영역을 활용해 장애물에 가려진 사람 이미지의 누락된 특징을 효과적으로 복원할 수 있는가?
• RQ2 이상치를 걸러내면서 가장 관련성 있고 신뢰할 수 있는 이웃을 어떻게 식별할 수 있는가?
• RQ3 그래프 신경망 기반 특징 복원이 평균 풀링과 같은 단순 집계 방법보다 우수한가?
• RQ4 제안된 방법은 대규모 및 소규모 장애물이 있는 Re-ID 벤치마크 모두에 일반화 가능한가?

주요 결과

• 제안된 방법은 대규모 Occluded-DukeMTMC 벤치마크에서 64.2%의 mAP와 67.6%의 랭크-1 정확도를 달성하며, 이는 이전 SOTA(HONet)보다 mAP 기준 20.4个百分点, 랭크-1 정확도 기준 12.5个百分点 향상된 성능이다.
• 절단 실험 결과, 차폐 인식 네트워크(OAN)를 제거할 경우 mAP가 62.9%에서 52.3%로 감소하여, 정확한 이웃 선택에 있어 OAN의 핵심적 역할을 입증한다.
• 이상치 제거 기능이 있는 그래프 신경망은 이상치 인식 모듈이 없는 기준 모델 대비 mAP 기준 1.3个百分点, 랭크-1 기준 1.5个百分点 향상되어, 노이즈가 많은 이웃을 걸러내는 데 효과적임을 확인한다.
• GNN 기반 특징 복원은 기준 모델 대비 mAP 기준 18.9个百分点, 랭크-1 기준 7.0个百分点 향상되어, 평균 집계보다 학습된 복원 방식의 우수성을 입증한다.
• 이 방법은 재랭킹과 상호보완적이다: 재랭킹과 조합한 결과(Ours+RR)는 mAP 67.3%, 랭크-1 68.9%를 기록하여, Ours 또는 RR만 사용한 경우보다 뛰어난 성능을 보였다.
• 시각화 결과는 본 방법이 더 정확한 양성 샘플을 검색하고 유사한 장애물에 의한 오분류를 방지함을 보여준다.