[논문 리뷰] ViTAA: Visual-Textual Attributes Alignment in Person Search by Natural Language

Zhe Wang, Zhiyuan Fang외 2명|arXiv (Cornell University)|2020. 05. 15.

Video Surveillance and Tracking Methods참고 문헌 62인용 수 21

한 줄 요약

ViTAA는 분할 감독과 대비 학습을 통해 특정 시각적 영역을 해당 텍스트 어휘와 정렬하는 속성 인식 특징 학습을 활용하여 자연어를 통한 인물 검색을 위한 시각-텍스트 속성 정렬 프레임워크를 제안한다. CUHK-PEDES에서 SOTA 성능을 달성하며, 상체 블랙 옷차림 검색 시 99.2%의 R@1을 기록하여 세분화된 다중 모odal 정렬 능력을 입증한다.

ABSTRACT

Person search by natural language aims at retrieving a specific person in a large-scale image pool that matches the given textual descriptions. While most of the current methods treat the task as a holistic visual and textual feature matching one, we approach it from an attribute-aligning perspective that allows grounding specific attribute phrases to the corresponding visual regions. We achieve success as well as the performance boosting by a robust feature learning that the referred identity can be accurately bundled by multiple attribute visual cues. To be concrete, our Visual-Textual Attribute Alignment model (dubbed as ViTAA) learns to disentangle the feature space of a person into subspaces corresponding to attributes using a light auxiliary attribute segmentation computing branch. It then aligns these visual features with the textual attributes parsed from the sentences by using a novel contrastive learning loss. Upon that, we validate our ViTAA framework through extensive experiments on tasks of person search by natural language and by attribute-phrase queries, on which our system achieves state-of-the-art performances. Code will be publicly available upon publication.

연구 동기 및 목표

• 전체 일치 방식의 한계를 해결하기 위해, '화이트 셔츠 대비 블랙 셔츠'와 같은 미세한 속성 차이를 구분하지 못하는 모델의 문제를 해결한다.
• 자연어 쿼리 내에서 특정 시각적 속성(예: 옷 색상)과 해당 텍스트 어휘 사이의 세분화된 정렬을 가능하게 한다.
• 분리된 속성 특징을 활용하여 가림, 시점 변화, 혼잡한 배경 등의 도전적인 조건에서도 인물 검색의 강건성을 향상시킨다.
• 측정 학습에서의 수렴 문제를 해결하기 위해 정보성 높고 신원이 다른 양성 쌍을 탐색하는 대체 양성 샘플링 전략을 도입한다.

제안 방법

• 개별 속성에 대해 분리된 시각적 특징을 학습하기 위해 경량 보조 분할 헤드를 갖춘 다중 브랜치 네트워크를 도입하며, 인스턴스 수준의 분할 주석으로 유도한다.
• 일반적인 자연어 파서를 적용하여 쿼리에서 속성 어휘를 추출함으로써 문법적 복잡성을 감소시키고 특징적인 단서를 고립시킨다.
• 공통 임bedding 공간에서 특정 속성의 시각적 특징과 해당 텍스트 어휘를 정렬하기 위해 대비 학습 손실을 적용한다.
• 다양하고 정보성 높은 양성 쌍을 서로 다른 신원 간에 탐색하는 K-상호작용 대체 양성 샘플링 방법을 제안하여 학습을 풍부화하고 수렴을 안정화시킨다.
• 시각적 및 텍스트적 속성이 속성 수준에서 정렬되는 공동 임베딩 공간을 사용하여 전반적인 이미지-텍스트 유사도를 초월한 세분화된 매칭을 가능하게 한다.
• 로컬 브랜치에서 정제된 인물 분할 지식을 활용하여 특징의 구체성과 다중 모달 정렬 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 시각적 특징과 텍스트 특징 간의 속성 수준 정렬이 미세한 속성 차이가 있는 복잡한 쿼리 상황에서 인물 검색 성능 향상에 기여하는가?
• RQ2 분할 감독을 통한 분리된 속성 특징 학습이 인물 검색에서 다중 모달 매칭의 강건성 향상에 기여하는가?
• RQ3 대체 양성 샘플링 전략이 시각-텍스트 정렬을 위한 측정 학습에서 수렴 안정성과 성능 향상에 어느 정도 기여하는가?
• RQ4 자연어 쿼리로 훈련된 모델이 미세조정 없이 제로샷 속성 검색 작업에 일반화 가능한가?
• RQ5 특성별 정렬이 전체 일치 방식에 비해 더 해석 가능하고 신뢰할 수 있는 검색 결과를 제공하는가?

주요 결과

• ViTAA는 CUHK-PEDES 벤치마크에서 SOTA 성능을 달성하며, 이전 방법들을 능가하는 자연어 기반 인물 검색 성능을 보였다.
• 속성 검색 작업에서 ViTAA는 Market-1501의 'upblack' 속성에서 99.2%의 R@1을 기록하여 시각적 및 텍스트적 속성 간 강력한 정렬 능력을 입증했다.
• DukeMTMC에서 'upwhite' 및 'upred' 속성에서 각각 100.0%의 R@1을 달성하여 세분화된 속성 매칭의 높은 정밀도를 입증했다.
• 대체 양성 샘플링 전략에서 최적의 K 값은 8이며, 이 이상의 값은 잘못된 양성 예측을 포함시켜 성능 저하를 초래한다.
• 정성적 결과 분석에서 실패 케이스조차도 모델이 검색된 이미지에 쿼리 속성을 올바르게 포착하고 있음을 확인하여 강력한 속성 기반 정렬 능력을 입증했다.
• 절단 실험 결과, 분할 감독과 대비 학습의 사용이 성능 향상에 상당히 기여하며 설계 선택의 타당성을 검증했다.