[논문 리뷰] Improving Deep Visual Representation for Person Re-identification by Global and Local Image-language Association

Dapeng Chen, Hongsheng Li외 4명|arXiv (Cornell University)|2018. 08. 05.

Multimodal Machine Learning Applications참고 문헌 38인용 수 8

한 줄 요약

이 논문은 글로벌 및 로컬 이미지-언어 연관성을 통해 딥 시각적 표현을 향상시키기 위해 자연어 기술을 학습 지도로 활용하는 새로운 방법을 제안한다. 주어진 사람의 이미지와 문장 기반 설명을 동시에 고려하여, 주어진 정체성 수준의 글로벌 정렬과 영역-명사어 구문 간의 로컬 대응을 어텐션 기반 특징 정렬을 통해 공동 최적화함으로써, 테스트 시 보조 데이터를 사용하지 않고도 Market-1501, CUHK03, CUHK01에서 최고 성능을 달성한다.

ABSTRACT

Person re-identification is an important task that requires learning discriminative visual features for distinguishing different person identities. Diverse auxiliary information has been utilized to improve the visual feature learning. In this paper, we propose to exploit natural language description as additional training supervisions for effective visual features. Compared with other auxiliary information, language can describe a specific person from more compact and semantic visual aspects, thus is complementary to the pixel-level image data. Our method not only learns better global visual feature with the supervision of the overall description but also enforces semantic consistencies between local visual and linguistic features, which is achieved by building global and local image-language associations. The global image-language association is established according to the identity labels, while the local association is based upon the implicit correspondences between image regions and noun phrases. Extensive experiments demonstrate the effectiveness of employing language as training supervisions with the two association schemes. Our method achieves state-of-the-art performance without utilizing any auxiliary information during testing and shows better performance than other joint embedding methods for the image-language association.

연구 동기 및 목표

• 자연어 기술을 학습 지도로 활용하여 사람 재식별을 위한 딥 시각적 표현을 향상시키는 것.
• 언어에서 유도되는 의미적 고수준 정보를 활용하여 데이터가 적은 환경에서 분류 가능한 특징을 학습하는 과제를 해결하는 것.
• 다양한 해상도에서 시각적 특징 학습을 이끄는 글로벌 및 로컬 이미지-언어 연관성을 설정하는 것.
• 기존의 자세, 특성, 카메라 ID와 같은 보조 신호보다 언어 기반 지도가 더 효과적이고 상호보완적인가를 입증하는 것.
• 추론 시 보조 데이터에 의존하지 않고도 최고 성능을 달성하는 것.

제안 방법

• 이 방법은 정체성 레이블 기반 글로벌 이미지-언어 연관성을 활용하여 전체 이미지 및 텍스트 특징을 정렬하는 이중 지도 학습 기반 설계를 채택한다.
• 어텐션 메커니즘을 통해 명사어어구와 해당 이미지 영역을 연결함으로써 로컬 이미지-언어 연관성을 구축하고, 의미 일관성을 강제한다.
• 주목한 시각적 특징에서 어휘어구 특징을 재구성함으로써 특징 임bedding을 해석 가능하게 하고 학습 과정을 정규화한다.
• 재식별 정확도와 이미지-텍스트 정렬을 동시에 최적화하기 위해 ResNet-50 백본과 다중 작업 학습을 사용한다.
• 글로벌 및 로컬 연관성 손실을 결합하여 시각적 및 텍스트 표현의 학습을 지도한다.
• 약한 레이블링이 적용된 이미지-텍스트 쌍을 사용하여 엔드 투 엔드로 프레임워크를 훈련한다. 여기서 각 사람 이미지가 기술 문장과 쌍을 이룬다.

실험 결과

연구 질문

• RQ1 자연어 기술이 사람 재식별에서 딥 시각적 표현을 향상시키는 데 효과적인 지도 신호로 기능할 수 있는가?
• RQ2 글로벌 및 로컬 이미지-언어 연관성이 더 분류 가능한 특징과 의미적으로 일치하는 특징을 학습하는 데 어떻게 기여하는가?
• RQ3 제안된 방법이 기존의 이미지-텍스트 공동 임베딩 방법보다 사람 재식별에 더 효과적인가?
• RQ4 학습 데이터가 제한된 경우 언어 지도가 성능 향상에 기여하는가?
• RQ5 테스트 시 보조 데이터 없이도 이 방법이 여러 벤치마크 데이터셋에 일반화 가능한가?

주요 결과

• 제안된 방법은 멀티쿼리 프로토콜 하에서 Market-1501에서 81.8% mAP와 93.3% Top-1 정확도를 달성하여 최고 성능을 기록했다.
• CUHK03 (레이블링된 박스 포함)에서 92.5% Top-1 및 98.8% Top-5 정확도를 기록했으며, 이는 이전 최고 성능인 D-person보다 Top-1 정확도에서 1.1% 향상된 성과이다.
• CUHK01에서 기준 모델 대비 7.8%의 Top-1 정확도 향상을 기록하여 데이터가 적은 환경에서의 뛰어난 효과를 입증했다.
• 제거 실험 결과 글로벌 및 로컬 이미지-언어 연관성이 효과적이고 상호보완적이며, 특히 로컬 방식이 특징의 해석 가능성과 일치도 향상에 기여함을 확인했다.
• 기존의 공동 임베딩 방법보다도 성능이 뛰어나, 제안된 연관성 설계의 우수성을 입증했다.
• 추론 시 포즈, 카메라 ID, 특성 등의 보조 정보를 전혀 사용하지 않아도 뛰어난 성능을 달성했으며, 이는 언어가 자가지도 신호로서 효과적임을 시사한다.