[논문 리뷰] HorNet: A Hierarchical Offshoot Recurrent Network for Improving Person Re-ID via Image Captioning

Shiyang Yan, Jun Xu외 2명|arXiv (Cornell University)|2019. 08. 14.

Video Surveillance and Tracking Methods참고 문헌 19인용 수 4

한 줄 요약

이 논문은 사람 재식별(re-ID) 성능을 햖थ기 위해 이미지와 자동 생성된 캡션에서 시각적 및 언어적 표현을 공동으로 학습하는 계층적 분기형 순환망인 HorNet을 제안한다. SPGAN과 캡션 생성기(_captioner_)를 통해 도메인 전이를 실시하고 고품질의 기술적 묘사를 생성함으로써, HorNet은 이중 레이어 LSTM 내 이산형 이진 게이트를 활용해 관련 있는 언어적 특징을 필터링하며, CUHK03, Market-1501, Duke-MTMC에서 최신 기술 수준의 성능을 달성한다. 재정렬 후 Duke-MTMC에서 97.1%의 top-1 CMC 정확도와 79.2%의 mAP를 기록한다.

ABSTRACT

Person re-identification (re-ID) aims to recognize a person-of-interest across different cameras with notable appearance variance. Existing research works focused on the capability and robustness of visual representation. In this paper, instead, we propose a novel hierarchical offshoot recurrent network (HorNet) for improving person re-ID via image captioning. Image captions are semantically richer and more consistent than visual attributes, which could significantly alleviate the variance. We use the similarity preserving generative adversarial network (SPGAN) and an image captioner to fulfill domain transfer and language descriptions generation. Then the proposed HorNet can learn the visual and language representation from both the images and captions jointly, and thus enhance the performance of person re-ID. Extensive experiments are conducted on several benchmark datasets with or without image captions, i.e., CUHK03, Market-1501, and Duke-MTMC, demonstrating the superiority of the proposed method. Our method can generate and extract meaningful image captions while achieving state-of-the-art performance.

연구 동기 및 목표

• 자세, 시점, 조명 변화로 인한 외관 변동성을 줄이기 위해.
• 실세계 사람 재식별 데이터셋에서 레이블이 부족한 언어적 묘사 문제를 해결하기 위해.
• 미리보지 않은 사람 이미지에 대해 고품질의 특징적인 이미지 캡션을 생성하는 방법을 개발하기 위해.
• 새로운 계층적 순환 아키텍처를 사용해 시각적 및 언어적 표현을 공동으로 학습하기 위해.
• 레이블이 붙은 데이터와 자동 생성된 캡션을 모두 활용해 최신 기술 수준의 재식별 성능을 달성하기 위해.

제안 방법

• 실세계 이미지를 통합된 도메인으로 전환하기 위해 유사성 유지 생성 적대적 네트워크(SPGAN)를 사용하여 캡션 품질을 향상시킨다.
• 이미지 캡션 생성기(_captioner_)가 레이블이 없는 데이터셋을 위해 사람 이미지의 의미적 묘사를 생성한다.
• HorNet은 두 가지 브랜치 아키텍처를 채택한다: 시각적 특징 추출을 위한 CNN(ResNet-50)과 Gumbel-Softmax 게이트를 갖춘 이중 레이어 LSTM을 통한 언어 표현 학습.
• LSTM 내 이산형 이진 게이트는 캡션에서 관련 있는 단어를 동적으로 선택하여 시각적 특징과의 정렬을 보장한다.
• 모델은 시각적 표현과 언어 표현을 공동 최적화하여 재식별을 위한 특징의 구분 능력을 향상시킨다.
• 특징 추출 후 재정렬을 적용하여 mAP 및 CMC 점수를 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 자동 생성된 이미지 캡션은 사람 재식별에서 외관 변동성을 상당히 줄일 수 있는가?
• RQ2 계층적 분기형 순환 네트워크는 재식별을 위한 시각적 및 언어적 표현 융합에 얼마나 효과적인가?
• RQ3 SPGAN을 통한 도메인 적응은 후속 재식별 작업을 위한 생성된 캡션의 품질을 향상시키는가?
• RQ4 보조 언어나 속성 정보를 사용하는 기존 방법보다 HorNet은 우수한 성능을 낼 수 있는가?
• RQ5 캡션 품질은 도메인 간 전이 상황에서 재식별 성능에 어떤 영향을 미치는가?

주요 결과

• 레이블이 붙은 캡션을 사용한 CUHK03에서 HorNet은 97.1%의 top-1 CMC 정확도를 기록했으며, ILA 방법 대비 4.6% 향상된 성능이다.
• Market-1501에서 모델은 85.8%의 mAP를 달성하여 다양한 데이터셋 간 일반화 능력이 뛰어나다는 것을 입증한다.
• 캡션이 없는 Duke-MTMC에서 도메인 전이 및 캡션 생성 후 모델은 60.4%의 mAP를 기록했으며, 기준 시각적 특징보다 뛰어난 성능을 보였다.
• 재정렬을 적용한 후 Duke-MTMC의 mAP는 79.2%로 상승하여 공동 표현 학습의 효과를 입증했다.
• BERT로 HorNet을 대체하면 성능이 열 劣하므로, 제안된 게이트 제어 아키텍처의 우수성을 확인할 수 있었다.
• 절단 분석 결과 캡션 생성 모듈과 계층적 분기 메커니즘이 최적의 성능을 내기 위해 필수적임을 확인했다.