[논문 리뷰] Deep Group-shuffling Random Walk for Person Re-identification

Yantao Shen, Hongsheng Li외 4명|arXiv (Cornell University)|2018. 07. 30.

Video Surveillance and Tracking Methods참고 문헌 45인용 수 23

한 줄 요약

이 논문은 랜덤 워크 전파를 통해 갤러리 간(G2G) 유사도를 활용하여 프로브 간(G2G) 유사도를 개선하는 엔드 투 엔드 학습 가능한 그룹 셔플링 랜덤 워크(GSRW) 레이어를 제안한다. 특징 차원을 그룹화하고 셔플링하여 풍부한 감독을 적용함으로써, Market-1501, CUHK03, DukeMTMC 데이터셋에서 최신 기준 성능을 달성하며, 이전 방법 대비 mAP 향상 폭이 최대 35.4%에 이른다.

ABSTRACT

Person re-identification aims at finding a person of interest in an image gallery by comparing the probe image of this person with all the gallery images. It is generally treated as a retrieval problem, where the affinities between the probe image and gallery images (P2G affinities) are used to rank the retrieved gallery images. However, most existing methods only consider P2G affinities but ignore the affinities between all the gallery images (G2G affinity). Some frameworks incorporated G2G affinities into the testing process, which is not end-to-end trainable for deep neural networks. In this paper, we propose a novel group-shuffling random walk network for fully utilizing the affinity information between gallery images in both the training and testing processes. The proposed approach aims at end-to-end refining the P2G affinities based on G2G affinity information with a simple yet effective matrix operation, which can be integrated into deep neural networks. Feature grouping and group shuffle are also proposed to apply rich supervisions for learning better person features. The proposed approach outperforms state-of-the-art methods on the Market-1501, CUHK03, and DukeMTMC datasets by large margins, which demonstrate the effectiveness of our approach.

연구 동기 및 목표

• 기존의 사람 재식별 방법들이 학습 및 테스트 중 갤러리 간(G2G) 유사도를 忽略하고 프로브 간(P2G) 유사도에만 의존하는 한계를 해결하기 위해.
• G2G 유사도 정보를 딥 러닝 과정에 통합하는 엔드 투 엔드 학습 가능한 프레임워크를 개발하기 위해.
• 특징 차원을 그룹으로 나누고 그룹별로 감독을 적용하여 특징 학습을 향상시켜 분류 능력을 강화하기 위해.
• 다양한 특징 부분공간에서 더 풍부하고 정규화된 학습 신호를 생성하기 위해, 다수의 P2G 및 G2G 유사도 쌍을 조합하는 그룹 셔플링 연산을 설계하기 위해.

제안 방법

• 랜덤 워크 전파를 통해 G2G 유사도를 이용해 초기 P2G 유사도를 미세 조정하는 엔드 투 엔드에서 구동 가능한 기계적 방식의 그룹 셔플링 랜덤 워크(GSRW) 레이어를 제안한다.
• 임bedding 벡터를 여러 개의 부분벡터로 나누는 특징 그룹화를 도입하여, 각 그룹별로 감독을 적용함으로써 더 견고한 특징 학습을 가능하게 한다.
• 그룹화된 P2G 및 G2G 유사도를 재조합하는 그룹 셔플링 연산을 적용하여, 다양한 특징 부분공간에서 다양하고 풍부한 학습 신호를 생성한다.
• GSRW 레이어에 입력하기 전에 초기 P2G 및 G2G 유사도를 계산하기 위해 쌍 유사도 컨볼루션 신경망(CNN)을 사용한다.
• 랜덤 워크 알고리즘을 사용해 갤러리 집합 전체를 통해 유사도 정보를 전파하기 위해 행렬 연산을 활용하며, G2G 관계에 기반해 P2G 유사도를 업데이트한다.
• GSRW 레이어를 딥 신경망 아키텍처 내에 통합함으로써 특징 학습과 유사도 개선을 동시에 최적화할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 사람 재식별 모델의 학습 단계에서 G2G 유사도를 효과적으로 활용하여 특징 학습과 랭킹 성능을 향상시킬 수 있는가?
• RQ2 G2G 유사도 정보를 후처리 단계가 아닌 엔드 투 엔드 학습 가능한 방식으로 딥 네트워크에 통합할 수 있는가?
• RQ3 특징 그룹화와 셔플링이 각 특징 차원에 대한 더 풍부한 감독을 가능하게 하여 학습된 사람 임베딩의 분류 능력을 향상시키는가?
• RQ4 랜덤 워크 기반의 개선 메커니즘이 갤러리 이미지 간의 구조적 관계를 활용하여 P2G 유사도 추정을 향상시킬 수 있는가?

주요 결과

• Market-1501 데이터셋에서 제안된 방법은 평균 평균 정확도(mAP) 94.0%를 달성하여 이전 최고 기록 대비 35.4% 향상되었다.
• CUHK03에서 방법은 94.0% mAP 및 94.9% 상위 1위 정확도를 기록했으며, 다음으로 우수한 방법보다 상위 1위 정확도에서 19.4% 향상되었다.
• DukeMTMC에서 방법은 66.4% mAP 및 80.7% 상위 1위 정확도를 기록했으며, SVDNet 대비 각각 9.6% 및 14.0% 향상되었다.
• 추가 학습 데이터나 인간 자세 정보를 사용하지 않더라도, SSM, k-reciprocal, OL-MANS 및 기타 후처리 기반 기준보다 큰 격차로 슈퍼리어한 성능을 보였다.
• 절단 분석 결과, 특징 그룹화와 그룹 셔플링 연산이 성능 향상에 뚜렷한 기여를 하며, 감독 강화의 역할을 확인했다.
• GSRW 레이어의 엔드 투 엔드 학습은 모든 세 가지 벤치마크 데이터셋에서 더 분류 능력이 뛰어난 특징과 뛰어난 일반화 능력을 제공한다.