[논문 리뷰] Weakly Supervised Person Re-ID: Differentiable Graphical Learning and A New Benchmark

Guangrun Wang, Guangcong Wang외 4명|arXiv (Cornell University)|2019. 04. 08.

Video Surveillance and Tracking Methods참고 문헌 95인용 수 6

한 줄 요약

이 논문은 이미지 수준 레이블을 대체하기 위해 백-레벨 애너테이션 기반으로 신뢰할 수 있는 가짜 이미지 수준 레이블을 생성하기 위해 미분 가능 그래픽 모델링을 사용하는 약한 감독 기반 인물 재식별 방법을 제안한다. 이를 통해 30,000명의 개인과 2960만 장의 이미지를 포함하는 새로운 대규모 벤치마크인 SYSU-30k에서 학습이 가능해졌으며, 이는 SYSU-30k와 다른 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였다. 이는 그래픽 모델링을 활용한 약한 감독이 풀 감독 모델에 맞추어지거나 초월할 수 있으며, 레이블링 비용을 크게 줄일 수 있음을 보여준다.

ABSTRACT

Person re-identification (Re-ID) benefits greatly from the accurate annotations of existing datasets (e.g., CUHK03 [1] and Market-1501 [2]), which are quite expensive because each image in these datasets has to be assigned with a proper label. In this work, we ease the annotation of Re-ID by replacing the accurate annotation with inaccurate annotation, i.e., we group the images into bags in terms of time and assign a bag-level label for each bag. This greatly reduces the annotation effort and leads to the creation of a large-scale Re-ID benchmark called SYSU-30$k$. The new benchmark contains $30k$ individuals, which is about $20$ times larger than CUHK03 ($1.3k$ individuals) and Market-1501 ($1.5k$ individuals), and $30$ times larger than ImageNet ($1k$ categories). It sums up to 29,606,918 images. Learning a Re-ID model with bag-level annotation is called the weakly supervised Re-ID problem. To solve this problem, we introduce a differentiable graphical model to capture the dependencies from all images in a bag and generate a reliable pseudo label for each person image. The pseudo label is further used to supervise the learning of the Re-ID model. When compared with the fully supervised Re-ID models, our method achieves state-of-the-art performance on SYSU-30$k$ and other datasets. The code, dataset, and pretrained model will be available at \url{https://github.com/wanggrun/SYSU-30k}.

연구 동기 및 목표

• 인물 재식별에서 이미지 수준 애너테이션의 높은 비용 문제를 해결하기 위해 시간적 그룹화 기반의 백-레벨 애너테이션으로 대체하는 것.
• 강력한 이미지 수준 레이블 없이도 구분 능력 있는 표현을 학습할 수 있는 약한 감독 기반 재식별 프레임워크 개발.
• 향후 약한 감독 기반 인물 재식별 연구를 지원하기 위해 새로운 대규모 벤치마크인 SYSU-30k를 구축하는 것.
• 미분 가능 그래픽 모델을 통해 이미지 간 상호의존성을 모델링하여, 약한 애너테이션 데이터로부터 효과적인 학습을 가능하게 하는 것.

제안 방법

• 시간적 근접도를 기반으로 이미지를 백에 그룹화하며, 각 백은 포함된 신원 집합을 나타내는 백-레벨 레이블을 할당받는다.
• 이중 항목(초기 딥 특징)과 쌍별 항목(특징 및 외관 유사도)을 사용하여 각 백 내 이미지 간의 의존성을 포착하기 위해 미분 가능 그래픽 모델을 도입한다.
• 그래픽 모델을 최적화하여 분류 확률을 개선하고, 각 백 내 이미지에 대한 가짜 이미지 수준 레이블을 생성한다.
• 이러한 가짜 레이블을 사용하여 재식별 모델의 학습을 감독함으로써, 약한 감독 기반 학습을 가능하게 한다.
• 딥 메트릭 네트워크(MGN 등)를 사용하여 엔드 투 엔드 학습을 구현하며, 그래픽 모델은 백프로파게이션을 통해 미분 가능하다.
• 개별 이미지 수준 레이블이 필요 없이, 백-레벨 레이블만으로 SYSU-30k 데이터셋에서 학습이 수행된다.

실험 결과

연구 질문

• RQ1 이미지 수준 레이블 대신 백-레벨 애너테이션만을 사용하는 약한 감독 기반 재식별 모델이 경쟁적인 성능을 달성할 수 있는가?
• RQ2 미분 가능 그래픽 모델이 모호한 백-레벨 감독 환경에서 개인 이미지에 대한 신뢰할 수 있는 가짜 레이블을 효과적으로 생성할 수 있는가?
• RQ3 SYSU-30k처럼 대규모의 약한 애너테이션 데이터셋은 인물 재식별에서 더 나은 일반화 및 성능 향상에 기여하는가?
• RQ4 정확도와 계산 비용 측면에서 약한 감독 모델의 성능은 풀 감독 모델과 비교해 어떻게 되는가?

주요 결과

• 제안된 약한 감독 방법인 W-MGN은 SYSU-30k 벤치마크에서 랭크-1 정확도 72.7%를 달성하여 여러 풀 감독 모델을 초월하였다.
• 백-레벨 애너테이션만으로도 학습된 W-MGN은 SYSU-30k에서 랭크-1 정확도 29.5%를 기록했으며, CUHK03에서 미세조정된 풀 감독 모델보다 뛰어난 성능을 보였다.
• 약한 감독 방법의 계산 비용(100장당 0.2453초)은 풀 감독 방법(100장당 0.2448초)과 거의 동일했다.
• 미분 가능 그래픽 모델은 이미지 간 상호의존성을 효과적으로 포착하여, 강력한 감독이 없는 상황에서도 정확한 가짜 레이블 생성이 가능했다.
• 3만 명의 개인과 2960만 장의 이미지를 포함하는 SYSU-30k 벤치마크는 현재까지 가장 큰 인물 재식별 데이터셋이며, 약한 감독 기반 학습을 지원한다.
• 정성적 결과에서는 모델이 잘 일반화되었으며, 높은 시각적 유사도를 가진 도전적인 케이스에서도 정확한 매칭 결과가 높은 순위에 랭크되는 경향을 보였다.