[논문 리뷰] Robust Partial Matching for Person Search in the Wild

Yingji Zhong, Xiaoyu Wang외 1명|arXiv (Cornell University)|2020. 04. 20.

Video Surveillance and Tracking Methods참고 문헌 12인용 수 5

한 줄 요약

이 논문은 전체 신체 영역을 커버하도록 검출 박스를 정밀 조정하고 국소적 특징 매칭을 가능하게 함으로써, 비정상적인 바운딩 박스에 대한 강건성을 향상시키는 통합된 인물 검색 프레임워크인 Align-to-Part Network(APNet)을 제안한다. APNet은 기존의 최고 성능 기준과 새로운 대규모이고 도전적인 데이터셋(LSPS)에서 최고 성능을 기록하며, LSPS에서 51.6%의 rank-1 정확도와 17.1%의 mAP를 달성하여, 가림과 노이즈가 많은 검출 결과가 있는 실제 환경에서 기존 방법들을 크게 앞서 간다.

ABSTRACT

Various factors like occlusions, backgrounds, etc., would lead to misaligned detected bounding boxes , e.g., ones covering only portions of human body. This issue is common but overlooked by previous person search works. To alleviate this issue, this paper proposes an Align-to-Part Network (APNet) for person detection and re-Identification (reID). APNet refines detected bounding boxes to cover the estimated holistic body regions, from which discriminative part features can be extracted and aligned. Aligned part features naturally formulate reID as a partial feature matching procedure, where valid part features are selected for similarity computation, while part features on occluded or noisy regions are discarded. This design enhances the robustness of person search to real-world challenges with marginal computation overhead. This paper also contributes a Large-Scale dataset for Person Search in the wild (LSPS), which is by far the largest and the most challenging dataset for person search. Experiments show that APNet brings considerable performance improvement on LSPS. Meanwhile, it achieves competitive performance on existing person search benchmarks like CUHK-SYSU and PRW.

연구 동기 및 목표

• 가림과 제한된 카메라 시야로 인해 전반적 특징 매칭이 약화되는 비정상적인 인물 바운딩 박스 문제를 간과한 점을 다스린다.
• 부분적으로 드러난 신체 부위, 혼잡한 배경, 척도 변화 등의 실제 환경 도전 과제에 강건성을 향상시키기 위해 검출 박스를 정밀 조정하고 가시 신체 부위에 집중한다.
• 검출과 재식별을 동시에 최적화하는 통합 프레임워크를 제안하여 별도의 모델을 사용하는 데서 발생하는 비효율성을 방지한다.
• 실제 인물 검색 과제를 더 잘 반영하기 위해 자동으로 애너테이션된 바운딩 박스를 가진 대규모이고 현실적인 새로운 데이터셋(LSPS)을 기여한다.
• 정렬된 가시 신체 부위를 기반으로 한 국소적 특징 매칭이 비정상적인 바운딩 박스와 가림 상황에서 매칭 정확도를 크게 향상시킨다

제안 방법

• 검출된 바운딩 박스를 추정된 전체 신체 영역을 커버하도록 정밀 조정하기 위해 네 개의 오프셋 값을 예측하는 Bounding Box Aligner(BBA) 모듈을 도입하며, 수동 애너테이션 없이 데이터 증강을 통해 훈련한다.
• 정밀 조정된 바운딩 박스에서 분별력 있는 부위 특징을 추출하기 위해 Region-Sensitive Feature Extractor(RSFE)를 설계하여 국소적 단서를 강화하고 인접 영역의 노이즈 간섭을 줄인다.
• 사람 재식별 문제를 국소적 매칭 문제로 재정의하여, 오직 유효하고 가시적인 부위 특징만 유사도 계산에 사용하고, 가림되거나 노이즈가 많은 영역의 특징은 기각한다.
• OIM 기반의 통합 아키텍처를 사용하여 BBA와 RSFE를 최소한의 계산 비용으로 통합함으로써, 기준 모델과 유사한 추론 속도를 유지한다.
• APNet+v에서 수직 스트라이프 특징을 도입하여 수평 방향의 비정상성에 대한 강건성을 향상시켜, 복잡한 환경에서도 성능을 향상시킨다.
• 수동으로 수정된 박스에 의존하지 않고, 자동 데이터 증강을 활용해 BBA 모듈을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 비정상적인 바운딩 박스를 전체 신체 영역을 커버하도록 정밀 조정하면 실제 환경에서 사람 재식별 성능이 향상되는가?
• RQ2 가림이나 카메라 제약으로 인해 바운딩 박스가 비정상적인 경우, 가시 신체 부위에 기반한 국소적 특징 매칭이 전반적 특징 매칭을 능가하는가?
• RQ3 검출과 재식별을 통합한 프레임워크는 별도의 모델보다 더 효율적이고 정확한 성능을 낼 수 있는가?
• RQ4 자동으로 검출된 바운딩 박스와 높은 가림 비율을 가진 대규모이고 현실적인 데이터셋에서 제안된 방법은 어떤 성능을 보이는가?
• RQ5 수직 스트라이프 특징의 포함이 수평 비정상성 상황에서 성능 향상에 얼마나 기여하는가?

주요 결과

• APNet은 CUHK-SYSU에서 88.9%의 mAP와 89.3%의 rank-1 정확도를 기록하여, 더 강력한 백본을 사용한 대부분의 최근 방법들을 능가한다.
• PRW에서 APNet은 41.9%의 mAP와 81.4%의 rank-1 정확도를 달성하여, 더 약한 백본을 사용함에도 불구하고 RDLR보다 rank-1에서 9.3% 높다.
• 새로운 LSPS 데이터셋에서 APNet은 17.1%의 mAP와 51.6%의 rank-1 정확도를 기록하여 기준 모델인 OIM 대비 3.9% 향상되었다.
• 수직 스트라이프 특징을 통합한 APNet+v는 LSPS에서 18.8%의 mAP와 55.7%의 rank-1 정확도를 기록하여 다중 방향 국소 매칭의 효과를 입증했다.
• 계산 비용은 매우 낮게 유지되며, 2080Ti GPU에서 0.397 TFLOPs로 기준 모델인 OIM의 0.383 TFLOPs와 거의 유사하여 최소한의 계산 비용을 유도한다.
• PRW에서 APNet은 QEEPS와 CGPS를 크게 앞서며, 각각 4.7%와 7.8% 높은 rank-1 정확도를 기록했고, 통합 추론 덕분에 더 효율적이다.