[논문 리뷰] Learning Longterm Representations for Person Re-Identification Using Radio Signals

Lijie Fan, Tianhong Li외 4명|arXiv (Cornell University)|2020. 04. 02.

Video Surveillance and Tracking Methods참고 문헌 54인용 수 5

한 줄 요약

이 논문은 RGB 기반 방법이 일시적인 외관 특징에 의존하는 데 반해, 신체 형태와 보행 방식과 같은 지속적이고 장기적인 인간 특징을 추출할 수 있는 새로운 사람 재식별 방법인 RF-ReID를 제안한다. 라디오 주파수(RF) 신호를 활용함으로써, 다중 작업 학습을 통해 3D 체형 예측 및 환경 식별자 모델을 적용하여, 가림이나 저조도 조건에서도 날짜를 초월해 강건한 신원 매칭을 달성하며, 종단 간 데이터셋에서 최신 비디오 ReID 모델을 능가한다.

ABSTRACT

Person Re-Identification (ReID) aims to recognize a person-of-interest across different places and times. Existing ReID methods rely on images or videos collected using RGB cameras. They extract appearance features like clothes, shoes, hair, etc. Such features, however, can change drastically from one day to the next, leading to inability to identify people over extended time periods. In this paper, we introduce RF-ReID, a novel approach that harnesses radio frequency (RF) signals for longterm person ReID. RF signals traverse clothes and reflect off the human body; thus they can be used to extract more persistent human-identifying features like body size and shape. We evaluate the performance of RF-ReID on longitudinal datasets that span days and weeks, where the person may wear different clothes across days. Our experiments demonstrate that RF-ReID outperforms state-of-the-art RGB-based ReID approaches for long term person ReID. Our results also reveal two interesting features: First since RF signals work in the presence of occlusions and poor lighting, RF-ReID allows for person ReID in such scenarios. Second, unlike photos and videos which reveal personal and private information, RF signals are more privacy-preserving, and hence can help extend person ReID to privacy-concerned domains, like healthcare.

연구 동기 및 목표

• 옷 차림이 크게 변화하는 장기간에 걸친 사람 재식별 도전 과제를 해결하기 위해.
• 사람의 개인 정보를 드러내는 시각적 데이터에 의존하지 않는 개인정보 보호 기능을 갖춘 ReID 시스템을 개발하기 위해.
• 가림이나 저조도 환경과 같은 도전적인 조건에서도 강건한 ReID를 가능하게 하기 위해.
• 단기적인 외관 변화에 영향을 받지 않는 안정적이고 장기적인 신원 특징을 RF 신호에서 추출하기 위해.
• 신원 특징을 환경 특유의 편향에서 분리시켜 RF 기반 ReID에서 과적합을 줄이기 위해.

제안 방법

• RF 신호에서 사람의 신원과 3D 인간 체형을 동시에 예측하는 다중 작업 학습 프레임워크를 통해 특징의 강건성을 향상시킨다.
• 환경적 맥락에 영향을 받지 않는 특징을 만들기 위해 특징 추출기와 함께 훈련된 적대적 환경 식별자 모델을 도입하여, 위치에 특화된 패턴에 대한 과적합을 줄인다.
• 신호의 반사성과 부분 반사로 인해 손상된 정보를 보완하기 위해, 여러 개의 RF 스냅샷에서 정보를 융합하는 계층적 어텐션 메커니즘을 활용한다.
• 체형 예측 및 적대적 도메인 일반화에서 유도된 보조 정보를 활용하여, 오직 사람 ID 레이블만을 사용해 종단 간 RF-ReID 모델을 훈련한다.
• 옷을 관통하고 인간 신체에서 반사되는 Wi-Fi 대역 RF 신호를 활용하여 신체 형태와 운동 특징을 추출한다.
• 캠퍼스 전역에 5대의 동기화된 RF 수신기를 설치하여, 함께 위치한 RGB 카메라의 정답 ID를 포함한 종단 간 데이터를 수집한다.

실험 결과

연구 질문

• RQ1 RF 신호는 옷 차림 변화에도 불구하고 수일에 걸쳐 지속되는 안정적인 특징을 추출하여 사람 재식별에 활용할 수 있는가?
• RQ2 RGB 카메라가 실패하는 가림이나 저조도 조건에서도 RF 기반 재식별 시스템이 정확성을 유지할 수 있는가?
• RQ3 신원 레이블에서만 약한 감독을 받는 RF 기반 ReID 모델에서 과적합을 어떻게 줄일 수 있는가?
• RQ4 비교적 시각적 방법에 비해 RF 신호가 개인정보 보호 기능을 얼마나 잘 제공할 수 있는가?
• RQ5 환경에 독립적인 특징을 학습함으로써 RF-ReID는 다양한 환경에서 일반화할 수 있는가?

주요 결과

• RF-ReID는 RRD-Campus 데이터셋에서 mAP 59.5%와 CMC-1 82.1%를 기록하여 비디오 기반 ReID 기준선을 능가했다.
• 환경 식별자 모델은 mAP를 2.8%p 향상시키고 CMC-1을 7.9%p 향상시켜 환경적 편향 감소에 효과적임을 입증했다.
• 정성적 결과에서 RF-ReID는 다른 옷을 입은 사람들을 정확히 매칭했지만, RGB 기반 모델은 옷의 유사성으로 인해 실패했다.
• RGB 기반 모델이 사람을 감지하거나 정확히 식별하지 못하는 저조도 및 가림 조건에서도 RF-ReID는 성능을 유지했다.
• 사람이 자전거나 스케이트보드와 같은 휠을 장착한 경우, 보행 패턴과 RF 반사 패턴이 변화하여 모델이 어려움을 겪었다.
• 특징 시각화 결과, 환경 식별자가 신원 특징을 환경 맥락에서 성공적으로 분리하여, 보다 균일하게 분포된 임bedding을 도출했다.