[논문 리뷰] Multi-task Mid-level Feature Alignment Network for Unsupervised Cross-Dataset Person Re-Identification

Shan Lin, Haoliang Li외 2명|arXiv (Cornell University)|2018. 07. 03.

Video Surveillance and Tracking Methods인용 수 159

한 줄 요약

요약: 이 논문은 MMFA를 제안한다. 이는 도메인 간 중간 레벨 특징을 MMD 기반 정규화로 정렬하면서 아이덴티티와 속성 감독을 함께 학습하는 엔드-투-엔드 비지도 교차 데이터세트 사람 재식별 프레임워크다.

ABSTRACT

Most existing person re-identification (Re-ID) approaches follow a supervised learning framework, in which a large number of labelled matching pairs are required for training. Such a setting severely limits their scalability in real-world applications where no labelled samples are available during the training phase. To overcome this limitation, we develop a novel unsupervised Multi-task Mid-level Feature Alignment (MMFA) network for the unsupervised cross-dataset person re-identification task. Under the assumption that the source and target datasets share the same set of mid-level semantic attributes, our proposed model can be jointly optimised under the person's identity classification and the attribute learning task with a cross-dataset mid-level feature alignment regularisation term. In this way, the learned feature representation can be better generalised from one dataset to another which further improve the person re-identification accuracy. Experimental results on four benchmark datasets demonstrate that our proposed method outperforms the state-of-the-art baselines.

연구 동기 및 목표

• 다중 데이터세트 간 공유 중간 레벨 속성을 활용하여 대상 도메인 라벨 없이 확장 가능한 사람 재식별을 동기화한다.
• 레이블이 있는 소스 도메인에서 아이덴티티와 속성 감독의 결합을 통해 구별 가능한 특징을 학습한다.
• 소스와 타깃의 중간 레벨 특징 분포를 정렬하여 교차 데이터셋 일반화를 향상시킨다.
• 특징 학습과 도메인 적응을 하나의 엔드-투-엔드 학습 프레임워크로 결합하는 단일 스테이지를 도입한다.]
• method_action_1 번역을_추가해주지_마시오
• method
• Use a ResNet-50 backbone with a global max-pooling layer and multiple task-specific heads.
• Train with identity classification loss and multiple attribute classification losses.
• Compute two domain-adaptation regularizers based on MMD: one on attribute features (AAL) and one on mid-level deep features (MDAL).
• Combine losses into a unified objective L_all = L_id + λ1 L_attr + λ2 L_AAL + λ3 L_MDAL.
• Employ a mixture of RBF kernels for MMD and train in a single end-to-end SGD process on mini-batches containing both labeled source and unlabeled target samples.

제안 방법

• ResNet-50 백본과 글로벌 맥스 풀링 층, 다중 태스크별 헤드를 사용한다.
• 아이덴티티 분류 손실과 다중 속성 분류 손실로 학습한다.
• 속성 특징(AAL)과 중간 수준 딥 특징(MDAL)에 대해 MMD를 기반으로 한 두 개의 도메인 적응 정규화를 계산한다.
• 손실들을 하나의 통합 목적 함수 L_all = L_id + λ1 L_attr + λ2 L_AAL + λ3 L_MDAL으로 결합한다.
• MMD를 위한 RBF 커널의 혼합을 사용하고, 라벨이 있는 소스와 라벨이 없는 타깃 샘플을 포함하는 미니 배치에서 단일 엔드-투-엔드 SGD 프로세스로 학습한다.

실험 결과

연구 질문

• RQ1 비지도 교차 데이터셋 재식별이 도메인 간 중간 레벨 특징 분포를 정렬함으로써 달성될 수 있는가?
• RQ2 ,
• RQ3 아이덴티티와 중간 레벨 속성을 함께 학습하는 것이 교차 데이터셋 일반화에 도움이 되는가?
• RQ4 도메인 적응을 위한 속성과 중간 레벨 특징에 대한 MMD 기반 정규화가 얼마나 효과적인가?
• RQ5 MMFA가 표준 벤치마크에서 최첨단 비지도 교차 데이터셋 재식별 방법과 비교하여 어떤 성능을 보이는가?

주요 결과

• MMFA는 VIPeR, PRID, Market1501 및 DukeMTMC-reID 벤치마크에서 많은 최첨단 비지도 방법보다 우수한 성능을 보인다.
• 속성 및 아이덴티티의 공동 학습은 각각을 단독으로 사용할 때보다 일반화 성능이 더 좋다(속성+ID가 속성만 사용할 때보다 개선을 보임).
• 중간 레벨 특징 정렬(AAL 및 MDAL)은 교차 도메인 성능을 크게 향상시키며, 정렬 후 비적용 특징 대비 상당한 이점을 보인다.
• Market1501 및 DukeMTMC-reID에서 MMFA는 여러 베이스라인 대비 주목할 만한 Rank-1 및 mAP 향상을 달성한다(예: MMFA Duke: Rank-1 56.7, cross-dataset 환경에서 mAP 27.4; MMFA Market: Rank-1 45.3, mAP 24.7).
• 하나의 엔드-투-엔드 학습 세션(약 25 에폭)만으로도 경쟁력 있는 성능에 도달한다.