[논문 리뷰] Real-world Person Re-Identification via Degradation Invariance Learning

Yukun Huang, Zheng-Jun Zha외 3명|arXiv (Cornell University)|2020. 04. 10.

Video Surveillance and Tracking Methods참고 문헌 48인용 수 10

한 줄 요약

이 논문은 레이블이 부여된 복원 데이터가 필요 없이 고해상도 및 저조도 조건에서의 실세계 인식 재정의(Re-ID) 시스템에서의 이미지 품질 열화 문제를 해결하기 위해 자기지도 학습 기반의 열화에 강인한 표현 학습 프레임워크인 DI-REID를 제안한다. 이는 정체성과 열화 특징을 분리하는 방식으로, 저해상도 및 저조도 조건에서도 최신 기술 수준의 성능을 달성하며, 열화에 강인한 학습으로 인해 순위 1 성능이 6.6% 향상되었다.

ABSTRACT

Person re-identification (Re-ID) in real-world scenarios usually suffers from various degradation factors, e.g., low-resolution, weak illumination, blurring and adverse weather. On the one hand, these degradations lead to severe discriminative information loss, which significantly obstructs identity representation learning; on the other hand, the feature mismatch problem caused by low-level visual variations greatly reduces retrieval performance. An intuitive solution to this problem is to utilize low-level image restoration methods to improve the image quality. However, existing restoration methods cannot directly serve to real-world Re-ID due to various limitations, e.g., the requirements of reference samples, domain gap between synthesis and reality, and incompatibility between low-level and high-level methods. In this paper, to solve the above problem, we propose a degradation invariance learning framework for real-world person Re-ID. By introducing a self-supervised disentangled representation learning strategy, our method is able to simultaneously extract identity-related robust features and remove real-world degradations without extra supervision. We use low-resolution images as the main demonstration, and experiments show that our approach is able to achieve state-of-the-art performance on several Re-ID benchmarks. In addition, our framework can be easily extended to other real-world degradation factors, such as weak illumination, with only a few modifications.

연구 동기 및 목표

• 실세계 인식 재정의(Re-ID) 시스템에서 저해상도, 낮은 조도, 흐림 등의 저화질 문제를 해결한다.
• 기존의 복원 기반 Re-ID 방법에서 제한을 받는 인공 데이터 증강과 실세계 열화 사이의 도메인 갭을 극복한다.
• 쌍체 복원 데이터나 외부 감독 없이 자기지도 분리 표현 학습을 활용하여 의존도를 제거한다.
• 해상도 및 조도 변화와 같은 다양한 열화 유형에 일반화할 수 있는 통합 프레임워크를 개발한다.
• 저수준의 시각적 열화에 강인한 정체성 표현을 향상시키며, 同시에 정체성 정보를 유지한다.

제안 방법

• 입력 이미지에서 정체성 관련 및 열화 관련 특징을 분리하기 위해 콘텐츠 인코더와 열화 인코더를 갖춘 이중 인코더 아키텍처를 제안한다.
• 혼합된 콘텐츠 및 열화 특징에서 이미지를 재구성하기 위해 디코더를 사용하여 교차 열화 생성(예: 고해상도 콘텐츠에 저해상도 열화 적용)을 가능하게 한다.
• 실제 이미지와 생성된 이미지 간의 도메인 갭을 줄이기 위해 실재성 디스크림ิน레이터와, 이산 레이블 없이 열화 수준을 추정하는 rankGAN 기반의 열화 디스크림ิน레이터를 도입한다.
• 실제 이미지와 자기 열화된 이미지 쌍 간의 특징 교환을 통해 분리 및 강인성을 향상시키기 위해 자기지도 학습을 적용한다.
• 쌍체 복원 데이터가 필요 없도록 감마 보정을 약한 감독으로 활용하여 열화 모델링을 유도한다.
• 모든 프레임워크를 적대적 손실, 재구성 손실, 정체성 분류 손실을 사용하여 엔드 투 엔드로 훈련함으로써 분리 및 검색 성능 최적화를 달성한다.

실험 결과

연구 질문

• RQ1 레이블이 부여된 복원 데이터 없이 자기지도 분리 표현 학습이 효과적으로 열화에 강인한 정체성 특징을 추출할 수 있는가?
• RQ2 제안된 프레임워크는 저해상도 및 저조도와 같은 다양한 실세계 열화 유형에 얼마나 잘 일반화되는가?
• RQ3 기본 모델 및 기존 데이터 증강 기법에 비해 열화에 강인한 학습이 Re-ID 성능을 얼마나 향상시키는가?
• RQ4 정체성을 유지하면서 열화 수준를 변경하는 실제적인 이미지 번역을 생성할 수 있는가? 이는 효과적인 분리의 지표가 된다.
• RQ5 복원을 위한 쌍체 학습 데이터가 없을 경우, 생성된 이미지의 품질과 학습된 표현의 진정성에 영향을 미치는가?

주요 결과

• 제안된 DI-REID 프레임워크는 다양한 Re-ID 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 열화에 강인한 학습으로만 순위 1 정확도가 6.6% 향상되었다.
• 열화에 강인한 특징($f_{ ext{inv}}$)은 랭크 5 및 랭크 10에서 표준 특징보다 우수하여, 노이즈 또는 열화된 조건에서도 더 나은 일반화 성능을 보였다.
• 열화 민감도 특징($f_{ ext{sen}}$)은 랭크 1 정확도가 더 높게 나타나, 정체성의 구분 능력은 유지하면서도 열화에 강인한 특징이 강인성을 향상시킨다는 것을 확인하였다.
• t-SNE 시각화 결과, 학습된 열화 특징가 실제 조도 분포와 일치하는 의미 있는 다양체를 형성함을 확인하였으며, 진정성 있는 열화 모델링을 의미한다.
• 교차 조도 및 교차 해상도 설정에서 생성된 이미지는 과도한 강조 없이 자연스럽고 현실적인 조정을 보였으며, LIME 및 DeepUPE와 같은 최신 기술 수준의 방법보다 시각적 진정성에서 뛰어났다.
• 이 프레임워크는 해상도 및 조도 외의 다른 열화 유형으로도 쉽게 확장 가능하며, 아키텍처 수정이 거의 필요로 하지 않는다.