[논문 리뷰] Cross-Entropy Adversarial View Adaptation for Person Re-identification

Lin Wu, Richang Hong외 2명|arXiv (Cornell University)|2019. 04. 03.

Video Surveillance and Tracking Methods참고 문헌 62인용 수 5

한 줄 요약

이 논문은 사람 재식별을 위한 교차 엔트로피 적대적 시점 적응 방법을 제안하며, 교차 시점 이질성을 줄이기 위해 비대칭적이고 시점별 특징 매핑을 학습한다. 시점 혼동 목적과 엔트로피 정규화, 유사도 판별기의 공동 최적화를 통해, 짝지어진 이미지 생성이나 대칭 네트워크 아키텍처를 요구하지 않으면서도 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Person re-identification (re-ID) is a task of matching pedestrians under disjoint camera views. To recognise paired snapshots, it has to cope with large cross-view variations caused by the camera view shift. Supervised deep neural networks are effective in producing a set of non-linear projections that can transform cross-view images into a common feature space. However, they typically impose a symmetric architecture, yielding the network ill-conditioned on its optimisation. In this paper, we learn view-invariant subspace for person re-ID, and its corresponding similarity metric using an adversarial view adaptation approach. The main contribution is to learn coupled asymmetric mappings regarding view characteristics which are adversarially trained to address the view discrepancy by optimising the cross-entropy view confusion objective. To determine the similarity value, the network is empowered with a similarity discriminator to promote features that are highly discriminant in distinguishing positive and negative pairs. The other contribution includes an adaptive weighing on the most difficult samples to address the imbalance of within/between-identity pairs. Our approach achieves notable improved performance in comparison to state-of-the-arts on benchmark datasets.

연구 동기 및 목표

• 카메라 시점 이동으로 인한 큰 교차 시점 변동성을 해결하기 위해.
• 프로브 및 갤러리 시점에 대해 비대칭 매핑을 학습하여 대칭 시아미즈 네트워크의 불안정한 최적화 문제를 해결하기 위해.
• 대규모 레이블링 데이터에 의존하지 않고도 시점 불변 특징 공간과 구분 가능한 유사도 메트릭을 공동으로 학습하기 위해.
• 내부 및 서로 다른 신원 간의 쌍에서의 훈련 불균형을 개선하기 위해 하드 샘플에 대한 적응적 가중치를 적용하기 위해.
• 적대적 훈련과 엔트로피 정규화를 활용하여 저샷 및 비지도 재식별 환경에서의 일반화 성능을 향상시키기 위해.

제안 방법

• 비대칭 딥 네ural 네트워크를 사용하여 프로브 및 갤러리 이미지를 공유 특징 공간으로 매핑함으로써, 가중치 공유를 피하고 시점별 표현 학습을 가능하게 한다.
• 교차 엔트로피 적대적 손실을 사용하여 시점 분류기의 혼동을 유도함으로써 시점 이질성을 최소화하고, 시점 불변 특징을 촉진한다.
• 훈련의 안정성 향상과 일반화 성능 향상을 위해 시점 혼동 목적에 엔트로피 정규화를 적용한다.
• 양성(동일 신원) 및 음성(다른 신원) 이미지 쌍을 구분할 수 있도록 별도의 유사도 판별기를 훈련시켜 특징의 구분 능력을 향상시킨다.
• 내부 및 서로 다른 신원 쌍 간의 클래스 불균형 문제를 해결하기 위해 하드 샘플에 대한 강조를 위한 적응적 가중치 기법을 도입한다.
• 전체 프레임워크는 적대적 시점 혼동 손실과 마진 기반 유사도 손실의 조합을 사용하여 엔드 투 엔드로 훈련 가능하다.

실험 결과

연구 질문

• RQ1 비대칭적 특징 매핑이 대칭 시아미즈 네트워크에 비해 교차 시점 사람 재식별 성능을 향상시키는가?
• RQ2 엔트로피 정규화를 통한 적대적 시점 혼동이 교차 시점 시각적 이질성을 효과적으로 줄이는가?
• RQ3 공동으로 훈련된 유사도 판별기가 양성 및 음성 쌍에 대한 특징의 구분 능력을 향상시키는가?
• RQ4 하드 샘플의 적응적 가중치가 재식별에서 훈련 데이터 불균형 문제를 얼마나 효과적으로 완화하는가?
• RQ5 이미지 생성 기반 기법 없이도 구분 기반 접근 방식이 기존 도메인 적응 방법보다 사람 재식별에서 뛰어난 성능을 내는가?

주요 결과

• 제안된 방법은 VIPeR 데이터셋에서 랭크-1 정확도 51.3%를 달성하여 이전 최신 기술 수준의 방법을 초월한다.
• CUHK03 데이터셋에서 방법은 랭크-1 정확도 86.6%를 기록하여 기존의 시점 적응 기법보다 뚜렷이 뛰어난 성능을 보였다.
• Market-1501 벤치마크에서 모델은 랭크-1 정확도 87.2%를 달성하여 새로운 최신 기술 수준의 성능을 설정했다.
• 절단 분석 결과, 적대적 시점 혼동과 유사도 판별기 모두 성능 향상에 기여한다는 것이 확인되었다.
• 적응적 가중치 기법은 특히 하드 음성 샘플에서 훈련 수렴과 성능 향상을 향상시켰다.
• CoGAN과 같은 이미지 생성 기반 접근 방식과 ADDA와 같은 비생성 기반 방법 모두를 뛰어넘는 성능을 보이며, 효과적인 시점 적응을 위해 이미지 생성이 필수적인 것은 아님을 입증했다.