[논문 리뷰] Attention-based Few-Shot Person Re-identification Using Meta Learning

Alireza Rahimpour, Hairong Qi|arXiv (Cornell University)|2018. 06. 24.

Video Surveillance and Tracking Methods참고 문헌 14인용 수 6

한 줄 요약

이 논문은 소수의 예시로 새로운 신원에 빠르게 적응할 수 있도록 메타학습 최적화를 활용하는 엔드 투 엔드 주의 기반 메타학습 프레임워크인 ARM을 제안한다. 프로브 및 갤러리 이미지에 대해 전용 주의 기반 인코더를 통해 교차 시점 및 내부 시점 관계를 모델링함으로써 ARM은 PRID2011, CUHK01, CUHK03, Market1501에서 최신 기준 성능(SOTA)을 달성하여, 저샷 시나리오에서 뛰어난 일반화 능력과 구분 능력 있는 특징 학습을 입증한다.

ABSTRACT

In this paper, we investigate the challenging task of person re-identification from a new perspective and propose an end-to-end attention-based architecture for few-shot re-identification through meta-learning. The motivation for this task lies in the fact that humans, can usually identify another person after just seeing that given person a few times (or even once) by attending to their memory. On the other hand, the unique nature of the person re-identification problem, i.e., only few examples exist per identity and new identities always appearing during testing, calls for a few shot learning architecture with the capacity of handling new identities. Hence, we frame the problem within a meta-learning setting, where a neural network based meta-learner is trained to optimize a learner i.e., an attention-based matching function. Another challenge of the person re-identification problem is the small inter-class difference between different identities and large intra-class difference of the same identity. In order to increase the discriminative power of the model, we propose a new attention-based feature encoding scheme that takes into account the critical intra-view and cross-view relationship of images. We refer to the proposed Attention-based Re-identification Metalearning model as ARM. Extensive evaluations demonstrate the advantages of the ARM as compared to the state-of-the-art on the challenging PRID2011, CUHK01, CUHK03 and Market1501 datasets.

연구 동기 및 목표

• 각 신원에 대해 매우 적은 학습 예시가 존재하는 상황에서 사람 재식별 문제를 해결하기 위해, 특히 새로운 신원이 지속적으로 나타나는 실세계 감시 시스템에서의 도전 과제를 다루기 위해.
• 대규모 레이블링 데이터에 의존하거나 쌍별 또는 트리플릿 기반 손실 함수로 인해 일반화 능력이 떨어지는 기존 방법의 한계를 극복하기 위해.
• 갤러리 이미지 간의 관계(내부 시점)와 프로브 및 갤러리 이미지 간의 관계(교차 시점)를 명시적으로 모델링하여 특징의 구분 능력을 향상시키기 위해.
• 소수의 예시에서 일반화할 수 있도록 메타학습을 활용해 '학습자' 네트워크를 훈련시켜, 추론 도중에 새로운 신원에 대해 빠르게 적응할 수 있도록 하기 위해.
• 프로브 및 갤러리 특징 인코딩에 주의 메커니즘을 통합한 통합형 엔드 투 엔드 아키텍처를 설계하여 매칭 성능을 향상시키기 위해.

제안 방법

• 메타학습 프레임워크를 활용하여, 메타학습자는 프로브 이미지를 갤러리 이미지에 매칭하는 데 담당하는 '학습자' 네트워크를 최적화한다.
• 주의 기반 갤러리 인코더는 동일 신원의 다수 갤러리 이미지 간의 내부 시점 관계를 모델링하여 맥락 통합을 통해 특징 표현을 향상시킨다.
• 주의 기반 프로브 인코더는 모든 갤러리 특징을 고려하여 교차 시점 관계를 모델링함으로써, 매칭 도중 프로브가 관련 갤러리 이미지에 동적으로 집중할 수 있도록 한다.
• 양쪽 인코더의 주의 메커니즘은 관련 맥락 정보를 선택적으로 전파할 수 있게 하여, 시점 변화와 외관 변화가 있는 상황에서도 구분 능력을 향상시킨다.
• 전체 아키텍처는 소수의 예시로 구성된 재식별 작업을 직접 반영하는 메타학습 목표를 사용해 엔드 투 엔드로 훈련되며, 어려운 음성 예제나 마진 조정이 필요 없게 된다.
• 주의 메커니즘 내 메모리 구조는 메타학습자가 학습자를 효율적으로 업데이트하는 법을 학습하는 데 기여하여, 새로운 신원에 대해 제로샷 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 메타학습은 각 신원에 대해 몇 개의 레이블 예시만으로도 깊이 있는 신경망 모델이 새로운 신원에 일반화할 수 있도록 할 수 있는가?
• RQ2 주의 메커니즘은 어떻게 내부 시점(갤러리) 및 교차 시점(프로브-갤러리) 관계를 효과적으로 모델링하여 특징의 구분 능력을 향상시킬 수 있는가?
• RQ3 엔드 투 엔드 주의 기반 메타학습 프레임워크는 저샷 설정에서 기존의 시아미즈, 트리플릿 기반, 또는 분류 기반 재식별 모델보다 뛰어난 성능을 낼 수 있는가?
• RQ4 제안된 주의 기반 특징 인코딩은 어떤 정도 시점 변화, 가림, 외관 불일치 등의 영향을 줄일 수 있는가?
• RQ5 메타학습 프레임워크 덕분에 모델은 재학습이나 아키텍처 변경 없이도 새로운 신원에 일반화할 수 있는가?

주요 결과

• ARM은 PRID2011, CUHK01, CUHK03, Market1501 벤치마크에서 최신 기준 성능(SOTA)을 달성하여, 기존 방법보다 소수의 예시로 구성된 재식별 설정에서 뛰어난 성능을 보였다.
• 주의 기반 갤러리 인코더는 동일 신원의 다수 이미지 간의 내부 시점 관계를 포착함으로써 특징 표현을 크게 향상시켰다.
• 프로브 인코더가 모든 갤러리 특징을 고려할 수 있는 능력은 특히 큰 시점 및 외관 변화가 존재하는 상황에서 교차 시점 매칭 정확도를 향상시켰다.
• 메타학습 프레임워크는 추론 도중 새로운 신원에 대해 재학습이나 미세조정 없이도 빠른 적응을 가능하게 하였다.
• 트리플릿 기반 및 쌍별 매칭 방법에 비해 모델은 더 뛰어난 일반화 능력을 보였으며, 이는 훈련 시 어려운 음성 예제나 고정된 마진에 의존하는 데서 기인한 일반화 능력 열악함을 피했다.
• 광범위한 평가 결과, 제안된 주의 메커니즘과 메타학습 전략이 함께 작용하여 구분 능력 있는 특징 학습을 향상시키며, 저샷 신원이 포함된 다양한 데이터셋에서 일관된 성능 향상을 이끌어냈다.