[논문 리뷰] Gated Siamese Convolutional Neural Network Architecture for Human Re-Identification

Rahul Rama Varior, Mrinal Haloi외 1명|arXiv (Cornell University)|2016. 07. 28.

Video Surveillance and Tracking Methods참고 문헌 51인용 수 73

한 줄 요약

이 논문은 인간 재식별 성능을 햖थ하기 위해 이미지 쌍 간의 중위치 국소 특징을 동적으로 강조하는 학습 가능한 매칭 게이트(MG)를 갖춘 게이팅 시아모이스 컨볼루션 신경망(S-CNN)을 제안한다. 가우시안 게이팅 함수를 사용해 수평 스트라이프 특징을 비교함으로써, 네트워크는 구분력 있는 국소 패턴을 적응적으로 강화한다. 강력한 기준 S-CNN 대비 CUHK03에서 4.2%의 Rank-1 성능 향상과 Market-1501(SQ)에서 3.56% 향상을 달성하여 최신 기술 성능을 확보한다.

ABSTRACT

Matching pedestrians across multiple camera views, known as human re-identification, is a challenging research problem that has numerous applications in visual surveillance. With the resurgence of Convolutional Neural Networks (CNNs), several end-to-end deep Siamese CNN architectures have been proposed for human re-identification with the objective of projecting the images of similar pairs (i.e. same identity) to be closer to each other and those of dissimilar pairs to be distant from each other. However, current networks extract fixed representations for each image regardless of other images which are paired with it and the comparison with other images is done only at the final level. In this setting, the network is at risk of failing to extract finer local patterns that may be essential to distinguish positive pairs from hard negative pairs. In this paper, we propose a gating function to selectively emphasize such fine common local patterns by comparing the mid-level features across pairs of images. This produces flexible representations for the same image according to the images they are paired with. We conduct experiments on the CUHK03, Market-1501 and VIPeR datasets and demonstrate improved performance compared to a baseline Siamese CNN architecture.

연구 동기 및 목표

• 고정된 특징 표현 방식이 이미지 쌍의 맥락에 적응하지 못하는 시아모이스 CNN의 한계를 해결하기 위해.
• 이미지 쌍 간의 공통 국소 패턴을 선택적으로 강조하여 어려운 음성 쌍 간의 구분력을 향상시키기 위해.
• 중위치 특징에서 작동하는 기울기 전파가 가능한 학습 가능한 게이팅 메커니즘을 설계하여 특징 전파를 향상시키기 위해.
• 향후 표준 벤치마크에서 감독 기반 재식별 방법을 위한 강력한 기준 S-CNN을 수립하기 위해.
• 런타임 특징 선택을 통한 게이팅이 특징의 구분력과 검색 성능을 향상시키는지 확인하기 위해.

제안 방법

• 이미지 쌍의 수평 스트라이프에 따라 중위치 특징을 비교해 유사도 점수를 계산하는 매칭 게이트(MG)를 제안한다.
• 스트라이프 수준의 특징 요약 간 유클리드 거리를 사용해 유사도를 계산한 후, 가우시안 활성화 함수를 적용해 [0,1] 범위의 게이트 값 생성한다.
• 학습된 게이트 값을 사용해 고차원 레이어에서 관련 특징을 게이팅하고 강화함으로써 구분력 있는 표현을 향상시킨다.
• 엔드 투 엔드 백프로파게이션과 동시 훈련을 지원하기 위해, 기울기 전파가 가능한 파arametric 함수로 MG를 통합한다.
• 공유 가중치를 갖는 시아모이스 컨볼루션 신경망 아키텍처를 사용해 특징 추출을 수행하고, 컨볼루션 블록 사이에 MG 모듈을 삽입한다.
• 임베딩 공간에서 양성 쌍은 가까이, 음성 쌍은 멀어지도록 마진이 있는 트리플릿 손실을 사용해 네트워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 중위치 특징을 비교하는 학습 가능한 게이팅 메커니즘이 인간 재식별에서 시아모이스 CNN 성능을 향상시킬 수 있는가?
• RQ2 이미지 쌍 간의 유사도에 기반한 동적이고 맥락 인식형 특징 강화가 어려운 음성 쌍의 구분에 기여하는가?
• RQ3 제안된 매칭 게이트가 표준 재식별 벤치마크에서 고정 표현 방식의 시아모이스 네트워크를 능가할 수 있는가?
• RQ4 게이팅 메커니즘이 하위 및 중위치 레이어에서 기울기 흐름과 특징 학습을 어떻게 향상시키는가?
• RQ5 기본 S-CNN 대비 제안된 방법이 mAP 및 Rank-1 정확도를 얼마나 향상시키는가?

주요 결과

• 제안된 게이팅 시아모이스 S-CNN은 기본 S-CNN 대비 CUHK03 데이터셋에서 Rank-1 정확도가 4.2% 향상되었다.
• Market-1501 데이터셋에서 단일 쿼리 설정에서는 3.56% 향상되었고, 다중 쿼리 설정에서는 3.12% 향상되었다.
• 최종 아키텍처는 Market-1501(SQ)에서 mAP가 3.32% 향상되었고, Market-1501(MQ)에서는 3.06%, CUHK03에서는 3.27% 향상되어 더 나은 검색 성능을 보였다.
• 시각화 결과, 매칭 게이트가 양성 쌍 간의 대응되는 국소 영역(예: 모자, 가방)에서 강하게 활성화되고, 비유사 영역은 억제됨을 확인했다.
• 게이팅 메커니즘이 하위 레이어로의 기울기 흐름을 향상시켜, 구분력 있는 국소 패턴을 추출하는 필터 학습을 장려함을 확인했다.
• 기본 S-CNN은 모든 세 가지 데이터셋에서 많은 이전의 딥 러닝 및 수작업 특징 기반 방법보다 뛰어난 성능을 보였으며, 강력한 성능 기준을 설정했다.