[논문 리뷰] Decoupled and Memory-Reinforced Networks: Towards Effective Feature Learning for One-Step Person Search

Chuchu Han, Zhedong Zheng외 3명|arXiv (Cornell University)|2021. 02. 22.

Video Surveillance and Tracking Methods참고 문헌 23인용 수 5

한 줄 요약

이 논문은 최적화 갈등을 줄이기 위해 보행자 검출과 재식별 작업을 분리하는 분리형이고 메모리 강화된 단단계(person search) 프레임워크인 DMRNet을 제안한다. 작업별 특화 브랜치를 갖춘 단단계 검출기와 대비 특징 학습을 위한 느린 이동 평균 기반 메모리 백업을 사용함으로써, DMRNet은 CUHK-SYSU에서 93.2% mAP, PRW에서 46.9% mAP을 달성하여 기존의 모든 단단계 방법들을 능가한다.

ABSTRACT

The goal of person search is to localize and match query persons from scene images. For high efficiency, one-step methods have been developed to jointly handle the pedestrian detection and identification sub-tasks using a single network. There are two major challenges in the current one-step approaches. One is the mutual interference between the optimization objectives of multiple sub-tasks. The other is the sub-optimal identification feature learning caused by small batch size when end-to-end training. To overcome these problems, we propose a decoupled and memory-reinforced network (DMRNet). Specifically, to reconcile the conflicts of multiple objectives, we simplify the standard tightly coupled pipelines and establish a deeply decoupled multi-task learning framework. Further, we build a memory-reinforced mechanism to boost the identification feature learning. By queuing the identification features of recently accessed instances into a memory bank, the mechanism augments the similarity pair construction for pairwise metric learning. For better encoding consistency of the stored features, a slow-moving average of the network is applied for extracting these features. In this way, the dual networks reinforce each other and converge to robust solution states. Experimentally, the proposed method obtains 93.2% and 46.9% mAP on CUHK-SYSU and PRW datasets, which exceeds all the existing one-step methods.

연구 동기 및 목표

• 단단계 보행자 검색에서 검출 및 재식별 목표 간 상호 간섭을 해결하기 위해.
• 종합 학습 중 작은 배치 크기로 인한 최적화되지 않은 식별 특징 학습을 해결하기 위해.
• 일관된 메모리 보강 대비 학습 메커니즘을 통해 특징의 구분 능력을 향상시키기 위해.
• 이중 단계 파이프라인에 의존하지 않는 더 단순하고 효율적이며 학습 가능한 단단계 프레임워크를 설계하기 위해.

제안 방법

• 프리픽스 네트워크(FPN) 레이어에서 작업별 특화 헤드를 분기시켜 검출 및 재식별을 분리함으로써, RoI 특징이 재식별 서브넷에만 영향을 미치도록 격리한다.
• 최근 방문한 인스턴스의 특징 임bedding을 저장하는 큐 기반 메모리 백업을 통해 쌍별 거리 측정 학습을 향상시킨다.
• 네트워크의 느린 이동 평균을 통해 메모리 백업 업데이트를 위한 일관된 특징 인코딩을 보장함으로써 표현 학습의 안정성을 높인다.
• 메모리 백업을 활용해 정보가 풍부한 양성 및 음성 쌍을 추출하고, 재식별을 위한 대비 학습을 강화한다.
• 효율적인 종합 학습 및 추론을 가능하게 하기 위해 RetinaNet 기반 단단계 검출기에 기반한 방법이다.
• 주 네트워크와 모멘타임 평균 네트워크의 이중 네트워크는 상호 간에 수렴을 강화하여 견고한 솔루션을 도출한다.

실험 결과

연구 질문

• RQ1 단단계 프레임워크에서 검출 및 재식별 하위 작업을 분리하면 최적화 및 성능 향상에 기여하는가?
• RQ2 일관된 특징으로 인코딩된 메모리 백업은 작은 배치 제약 조건 하에서도 측정 학습을 향상시키는가?
• RQ3 메모리 특징 인코딩에 느린 이동 평균을 사용하면 더 안정적이고 구분 가능한 표현을 얻을 수 있는가?
• RQ4 단순화된 분리형 단단계 설계는 기존의 이중 단계 및 단단계 방법들을 능가할 수 있는가?

주요 결과

• DMRNet은 CUHK-SYSU 데이터셋에서 93.2% mAP를 달성하여 모든 기존의 단단계 방법들을 능가하고 새로운 최신 기술 수준을 설정했다.
• PRW 데이터셋에서 DMRNet은 46.9% mAP를 기록했으며, 이는 이전 최신 기술 수준의 단단계 방법(NAE+)보다 2.9% 높은 성능이다.
• 모델은 갤러리 크기가 다양할 경우에도 강력한 성능 유지를 보이며, 대규모 실세계 환경에서의 강인함을 입증했다.
• TFLOPs 기준으로 정규화했을 때 DMRNet은 이중 단계 방법인 MGTS보다 5.73배 빠르게 추론을 수행하여 높은 추론 효율성을 보였다.
• 제거 실험 결과에서 분리와 메모리 강화 모두 mAP 향상에 기여하는 중요한 요소로 확인되었다.
• 단일 단계 프레임워크임에도 불구하고, PRW에서 TCTS와 같은 최상위 이중 단계 방법들과 비교해 유사한 성능을 달성했다.