[논문 리뷰] GreyReID: A Two-stream Deep Framework with RGB-grey Information for Person Re-identification

Lei Qi, Lei Wang외 3명|arXiv (Cornell University)|2019. 08. 14.

Video Surveillance and Tracking Methods참고 문헌 49인용 수 5

한 줄 요약

이 논문은 RGB 및 회색조 이미지를 함께 활용하여 보다 나은 사람 재식별(Re-ID) 성능을 달성하기 위해 RGB와 회색조 이미지의 상보적 정보를 활용하는 이중 스트림 딥 러닝 프레임워크인 GreyReID를 제안한다. 이 방법은 개별 손실 함수를 사용해 별도의 RGB 및 회색조 브랜치를 훈련하고, 요소별 덧셈을 통해 특징을 융합하며, 최종 연결된 표현을 정교화하기 위해 글로벌 손실을 적용함으로써 색상 기반 과적합을 줄이며 여러 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

In this paper, we observe that most false positive images (i.e., different identities with query images) in the top ranking list usually have the similar color information with the query image in person re-identification (Re-ID). Meanwhile, when we use the greyscale images generated from RGB images to conduct the person Re-ID task, some hard query images can obtain better performance compared with using RGB images. Therefore, RGB and greyscale images seem to be complementary to each other for person Re-ID. In this paper, we aim to utilize both RGB and greyscale images to improve the person Re-ID performance. To this end, we propose a novel two-stream deep neural network with RGB-grey information, which can effectively fuse RGB and greyscale feature representations to enhance the generalization ability of Re-ID. Firstly, we convert RGB images to greyscale images in each training batch. Based on these RGB and greyscale images, we train the RGB and greyscale branches, respectively. Secondly, to build up connections between RGB and greyscale branches, we merge the RGB and greyscale branches into a new joint branch. Finally, we concatenate the features of all three branches as the final feature representation for Re-ID. Moreover, in the training process, we adopt the joint learning scheme to simultaneously train each branch by the independent loss function, which can enhance the generalization ability of each branch. Besides, a global loss function is utilized to further fine-tune the final concatenated feature. The extensive experiments on multiple benchmark datasets fully show that the proposed method can outperform the state-of-the-art person Re-ID methods. Furthermore, using greyscale images can indeed improve the person Re-ID performance.

연구 동기 및 목표

• 다른 신원 간 색상 유사성으로 인해 발생하는 가짜 양성(false positives) 문제를 해결하기 위해.
• 회색조 이미지가 RGB 이미지에 비해 보완적인 정보를 제공할 수 있는지 조사하기 위해.
• RGB 및 회색조 특징을 효과적으로 융합하여 일반화 능력과 강인성을 향상시키는 이중 스트림 딥 러닝 프레임워크를 개발하기 위해.
• 회색조 이미지를 통해 색상 정보를 제거함으로써 색상에 대한 과적합을 줄이되, 구조적 단서는 유지할 수 있음을 입증하기 위해.

제안 방법

• 프레임워크는 각 훈련 배치에서 RGB 및 회색조 이미지를 모두 처리하며, 별도의 RGB 및 회색조 스트림 브랜치를 독립적으로 훈련한다.
• RGB 및 회색조 브랜치의 특징을 요소별 덧셈으로 조합하여 상호작용을 모델링하는 공동 브랜치를 생성한다.
• 각 스트림은 자체 독립 손실 함수를 사용해 일반화 능력을 향상시키고, 최종 연결된 특징 표현을 정교화하기 위해 글로벌 손실을 적용한다.
• 최종 특징는 RGB, 회색조, 공동 브랜치의 출력을 연결하여 구성되며, 더 높은 구분 능력을 확보한다.
• RGB 및 회색조 특징의 기여도를 동적으로 균형 조절하기 위해 두 층의 완전 연결 네트워크와 소프트맥스 정규화를 사용하는 적응형 가중치 메커니즘을 탐색한다.
• 훈련 중에 색조 변환을 통한 데이터 증강을 적용하여 다양성을 증가시키고 색상 기반 과적합을 줄인다.

실험 결과

연구 질문

• RQ1 회색조 이미지를 사용함으로써 색상 정보 의존도를 줄임으로써 사람 재식별 성능을 향상시킬 수 있는가?
• RQ2 RGB 및 회색조 특징를 효과적으로 융합하여 사람 재식별에서 그 상보적 특성을 극대화할 수 있는가?
• RQ3 각 스트림에 대해 독립된 손실 함수를 사용하는 공동 학습 기반의 학습 방식이 종단간(end-to-end) 학습 대비 모델의 일반화 능력을 향상시키는가?
• RQ4 이중 스트림 재식별 프레임워크에서 RGB 및 회색조 특징를 융합하는 최적의 전략은 무엇인가?
• RQ5 제안된 프레임워크가 표준 재식별 벤치마크에서 최신 기술 수준(SOTA) 방법을 초월할 수 있는가?

주요 결과

• 제안된 GreyReID 프레임워크는 네 가지 주요 Re-ID 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였다: Market1501 (mAP: 85.6, Rank-1: 94.5), DukeMTMC-reID (mAP: 76.5, Rank-1: 88.0), CUHK03-Detect (mAP: 61.0, Rank-1: 62.9), 및 MSMT17 (mAP: 44.9, Rank-1: 70.4).
• 훈련 중에 회색조 이미지를 사용함으로써 Re-ID 성능이 뚜렷이 향상되었으며, RGB 이미지 대비 1:0.10 비율에서 가장 우수한 성능을 기록하였다.
• 요소별 덧셈 융합 전략이 연결, 곱셈, 적응형 가중치와 같은 다른 융합 방법보다 mAP 및 Rank-1 정확도 측면에서 뛰어난 성능을 보였다.
• 특징 맵의 시각화 결과는 RGB 및 회색조 브랜치가 서로 다른 영역에 주목하고 있음을 확인하였으며, 이는 구조적 단서와 색상 기반 단서를 함께 포착하는 데서 상보성을 입증한다.
• 각 브랜치에 독립된 손실 함수를 적용하고 최종 특징에 글로벌 손실을 적용하는 공동 학습 기반의 설계가 더 강인하고 일반화 능력이 뛰어난 표현을 생성한다.
• 제거 실험(ablation study) 결과, RGB와 회색조 이미지의 비율을 1:1으로 설정하더라도 모델이 강력한 성능을 유지함을 확인하였으며, 이는 회색조 데이터가 최종 표현에 의미 있는 불변성(invariance)을 기여하고 있음을 시사한다.