[논문 리뷰] Learning Context Graph for Person Search

Yichao Yan, Qiang Zhang외 4명|arXiv (Cornell University)|2019. 04. 03.

Video Surveillance and Tracking Methods참고 문헌 50인용 수 8

한 줄 요약

이 논문은 장면 내 보행자 간의 상관 관계를 학습하여 특징의 구분 능력을 향상시키는 맥락 인식 프레임워크를 제안한다. 공동 이동자들로부터 유의미한 맥락을 필터링하기 위해 상대적 주의 모듈을 도입하고, 프로브-갤러리 쌍 간의 전역 유사도를 집계하기 위해 그래프 학습 기법을 활용하여 CUHK-SYSU(86.5% top-1, 84.1% mAP) 및 PRW에서 최신 기술 수준 성능을 달성한다.

ABSTRACT

Person re-identification has achieved great progress with deep convolutional neural networks. However, most previous methods focus on learning individual appearance feature embedding, and it is hard for the models to handle difficult situations with different illumination, large pose variance and occlusion. In this work, we take a step further and consider employing context information for person search. For a probe-gallery pair, we first propose a contextual instance expansion module, which employs a relative attention module to search and filter useful context information in the scene. We also build a graph learning framework to effectively employ context pairs to update target similarity. These two modules are built on top of a joint detection and instance feature learning framework, which improves the discriminativeness of the learned features. The proposed framework achieves state-of-the-art performance on two widely used person search datasets.

연구 동기 및 목표

• 장애물, 자세 변화, 조명 변화와 같은 도전적인 조건에서 개인의 외형 특징만으로는 인식 성능이 떨어지는 문제를 해결한다.
• 정확한 보행자 검출에 의존하지 않고, 맥락적 단서와 함께 종단간 검출 및 특징 학습을 통합함으로써 문제를 해결한다.
• 기존 방법이 노이즈 또는 모호한 개별 특징으로 인해 성능이 저하되는 대규모 갤러리 환경에서의 강인성을 향상시킨다.
• 수동 애너테이션이나 복잡한 사회력 모델링 없이도 주변 보행자들로부터 관련 맥락 정보를 자동으로 식별하고 활용할 수 있는 학습 가능한 데이터 기반 접근법을 개발한다.
• 맥락 인식 그래프 구조를 통해 전역적 관계를 모델링하여 프로브-갤러리 쌍 간의 유사도 추정을 향상시킨다.

제안 방법

• 목표 프로브의 동일한 장면 내 모든 보행자를 맥락 후보로 수집하는 맥락적 인스턴스 확장 모듈을 제안한다.
• 프로브와 갤러리 맥락 후보 간의 주의 점수를 계산하여 정보가 풍부한 맥락 쌍을 식별하고 필터링하는 상대적 주의 모듈을 도입한다.
• 노드가 목표 개인과 그 맥락 쌍을 나타내는 맥락 그래프를 구성하며, 모든 맥락 노드가 목표 노드와 연결된다.
• 공유 가중치를 사용하여 그래프를 훈련시켜 프로브-갤러리 쌍 간의 전역 유사도를 학습하고, 맥락 정보를 집계하여 최종 유사도 점수를 개선한다.
• 종단간 훈련을 위해 맥락 그래프 모듈을 공동 검출 및 인스턴스 특징 학습 프레임워크에 통합한다.
• 공유 가중치를 양쪽 그래프에 적용하여 일관된 특징 학습을 보장하는 시아모이드 스타일의 그래프 학습 아키텍처를 사용하여 두 이미지를 비교한다.

실험 결과

연구 질문

• RQ1 이웃 보행자로부터의 맥락 정보는 실생활 감시 환경에서 개인 재식별 성능을 향상시킬 수 있는가?
• RQ2 수동 애너테이션에 의존하지 않고도 딥 러닝 모델이 노이즈가 많은 장면 맥락에서 실질적인 맥락을 자동으로 식별하고 필터링할 수 있는가?
• RQ3 전역 맥락 관계를 모델링하기 위해 최적의 그래프 구조는 무엇인가? 이는 유사도 추정 향상에 기여하는가?
• RQ4 학습 가능한 그래프 기반 메커니즘을 통해 맥락을 통합하면 대규모 갤러리 설정에서 더 나은 일반화 능력과 강인성을 확보할 수 있는가?
• RQ5 다양한 벤치마크에서 최신 기술 수준의 방법과 비교했을 때, 제안된 방법은 mAP 및 top-1 정확도 측면에서 어떤 성능을 보이는가?

주요 결과

• 제안된 방법은 CUHK-SYSU 데이터셋에서 86.5% top-1 정확도와 84.1% mAP를 달성하여 이전 최신 기술 수준 방법을 초월한다.
• PRW 데이터셋에서는 제한된 학습 데이터에도 불구하고 73.6% top-1 정확도와 33.4% mAP를 기록하여 기존 최신 기술 수준 방법을 능가한다.
• 갤러리 크기가 50에서 4000까지 다양하게 변화하는 상황에서도 일관된 성능 향상을 유지하여 대규모 설정에서의 강인성을 입증한다.
• 제거 실험 결과 상대적 주의 모듈이 관련 맥락을 효과적으로 필터링하여 노이즈를 감소시키고 특징의 구분 능력을 향상시킴을 보여준다.
• 그래프 기반 유사도 학습 프레임워크는 Siamese 그래프 구조(DisGCN)보다 우수한 성능을 보이며, 이는 노드 간 상호관계 모델링이 맥락 표현을 향상시킴을 시사한다.
• 다양한 데이터 분포를 가진 데이터셋 간에서도 잘 일반화됨을 보여주어 실생활 조건에서 강력한 일반화 능력을 지닌다.