[논문 리뷰] OIMNet++: Prototypical Normalization and Localization-aware Learning for Person Search

Sanghoon Lee, Youngmin Oh외 3명|arXiv (Cornell University)|2022. 07. 21.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

OIMNet++는 사람 검색을 위한 두 가지 핵심 개선 사항을 제안한다: ID 프로토타입을 사용해 특징 분포를 校정함으로써 클래스 불균형을 완화하는 프로토타입 정규화 레이어인 ProtoNorm, 그리고 특징 학습 중에 고정확도 예측치를 우선시하는 국소화 인식 학습 방식인 LOIM 손실. 이 구성 요소들은 표준 벤치마크에서 성능을 크게 향상시켜, 클래스 간 분리성과 구분 능력 있는 특징 학습을 향상시킨다.

ABSTRACT

We address the task of person search, that is, localizing and re-identifying query persons from a set of raw scene images. Recent approaches are typically built upon OIMNet, a pioneer work on person search, that learns joint person representations for performing both detection and person re-identification (reID) tasks. To obtain the representations, they extract features from pedestrian proposals, and then project them on a unit hypersphere with L2 normalization. These methods also incorporate all positive proposals, that sufficiently overlap with the ground truth, equally to learn person representations for reID. We have found that 1) the L2 normalization without considering feature distributions degenerates the discriminative power of person representations, and 2) positive proposals often also depict background clutter and person overlaps, which could encode noisy features to person representations. In this paper, we introduce OIMNet++ that addresses the aforementioned limitations. To this end, we introduce a novel normalization layer, dubbed ProtoNorm, that calibrates features from pedestrian proposals, while considering a long-tail distribution of person IDs, enabling L2 normalized person representations to be discriminative. We also propose a localization-aware feature learning scheme that encourages better-aligned proposals to contribute more in learning discriminative representations. Experimental results and analysis on standard person search benchmarks demonstrate the effectiveness of OIMNet++.

연구 동기 및 목표

• 특징이 영점 중심이 아니거나 분산이 다를 경우 L2 정규화의 한계를 해결하여 사람 검색에서 구분 능력을 떨어뜨리는 문제를 해결한다.
• 장꼬리형 사람 ID 분포에서 배치 정규화(BatchNorm)의 편향을 극복하여 주로 등장하는 ID들이 특징 표준화에 영향을 주는 문제를 해결한다.
• 보행자 예측치의 국소화 정확도를 특징 학습에 통합함으로써, 모든 예측치가 재식별에 동일하게 신뢰할 수 없음을 고려하여 특징 학습을 향상시킨다.
• ID 프로토타입을 통한 클래스 분포 모델링을 명시적으로 수행함으로써 L2 정규화된 특징의 클래스 간 분리성을 향상시킨다.
• 검출과 재식별을 동시에 최적화하는 더 견고하고 구분 능력 있는 표현 학습 프레임워크를 개발한다.

제안 방법

• 미니배치 통계 자료가 아닌 ID 프로토타입에서 채널 별 평균과 분산을 계산하는 정규화 레이어인 ProtoNorm을 도입하여 클래스에 편향되지 않은 특징 표준화를 가능하게 한다.
• 각 ID의 특징에 대해 지수 이동 평균을 통해 학습된 ID 프로토타입을 사용하여 L2 정규화 이전에 특징 분포를 校정함으로써 장꼬리형 데이터에서 구분 능력을 향상시킨다.
• 모멘텀 기반 지수 이동 평균을 사용해 룩업 테이블(LUT)을 업데이트하지만, 각 예측치의 국소화 정확도(IoU)로 업데이트를 가중치를 적용하는 LOIM 손실을 제안한다.
• LOIM 손실과 ProtoNorm을 통합하여 특징 표준화와 예측치 기반 표현 학습을 동시에 최적화한다.
• LUT 기반 OIM 손실을 ProtoNorm 및 LOIM과 함께 적용하여 프로토타입 특징에서 온 감독 신호를 사용해 특징 임bedding을 정교화한다.
• 표준 검출 및 재식별 목표를 사용해 모델을 엔드 투 엔드로 훈련하며, 특징 학습 파이프라인에서 ProtoNorm 및 LOIM을 핵심 구성 요소로 활용한다.

실험 결과

연구 질문

• RQ1 장꼬리형 클래스 분포를 고려한 특징 표준화가 사람 검색에서 L2 정규화된 사람 표현의 구분 능력을 향상시킬 수 있는가?
• RQ2 특징 학습 중에 보행자 예측치의 국소화 정확도를 통합하면 더 견고하고 구분 능력 있는 표현을 얻을 수 있는가?
• RQ3 ProtoNorm은 주로 등장하는 사람 ID로 인한 편향을 완화하는 데서 BatchNorm보다 얼마나 더 효과적인가?
• RQ4 LOIM 손실이 더 잘 정렬된 예측치를 더 높은 우선순위로 고려함으로써 표현 품질을 얼마나 향상시키는가?
• RQ5 ProtoNorm과 LOIM 손실의 조합이 표준 사람 검색 벤치마크에서 최고 성능을 달성할 수 있는가?

주요 결과

• ProtoNorm는 LUT 내 다른 ID의 특징 간 평균 코사인 유사도가 BatchNorm보다 낮게 나타나, 더 강한 클래스 간 분리성을 보이며, 훈련 에포크 수가 적을 때도 성능이 뛰어나다.
• LOIM 손실은 LUT 업데이트 시 고IoU 예측치를 우선시함으로써 성능을 크게 향상시키며, 더 구분 능력 있는 특징을 생성한다.
• ProtoNorm과 LOIM 손실을 함께 사용할 경우, 클래스 간 분리성과 국소화 인식 학습에 뚜렷한 상호보완 효과를 보이며 최고의 성능을 달성한다.
• PRW 데이터셋에서 OIMNet++는 mAP 78.9%를 기록하여 이전 최고 성능 방법보다 크게 뛰어나다.
• CUHK-SYSU에서 OIMNet++는 mAP 89.1%를 기록하여 다양한 감시 환경에서도 뛰어난 견고성을 보인다.
• 정성적 결과에서는 OIMNet++가 미세한 구분 특징(예: 안경, 머리카락)을 더 잘 포착하고, 가림 및 사람 겹침 상황에서도 더 견고한 성능을 보인다.