[논문 리뷰] Cross Domain Knowledge Transfer for Person Re-identification

Qiqi Xiao, Kelei Cao외 3명|arXiv (Cornell University)|2016. 11. 18.

Video Surveillance and Tracking Methods참고 문헌 29인용 수 14

한 줄 요약

이 논문은 사전 훈련된 모델에서 중위의 속성 특징과 고위의 분류 특징을 활용하여 사람 재식별 성능을 향상시키는 교차 도메인 지식 전이 프레임워크를 제안한다. 사전 훈련된 분류 및 속성 인식 모델에서 재식별 모델로 지식을 전이하기 위해 먼저 신원 분류 및 속성 인식 작업을 순차적으로 미세조정한 후, 구분 가능한 신체 부위에 대한 주의를 위해 공간 게이트형 LSTM을 통합함으로써, CUHK03에서 78.3%의 랭크-1 정확도를 달성하여 최신 기술을 초월한다.

ABSTRACT

Person Re-Identification (re-id) is a challenging task in computer vision, especially when there are limited training data from multiple camera views. In this paper, we pro- pose a deep learning based person re-identification method by transferring knowledge of mid-level attribute features and high-level classification features. Building on the idea that identity classification, attribute recognition and re- identification share the same mid-level semantic representations, they can be trained sequentially by fine-tuning one based on another. In our framework, we train identity classification and attribute recognition tasks from deep Convolutional Neural Network (dCNN) to learn person information. The information can be transferred to the person re-id task and improves its accuracy by a large margin. Further- more, a Long Short Term Memory(LSTM) based Recurrent Neural Network (RNN) component is extended by a spacial gate. This component is used in the re-id model to pay attention to certain spacial parts in each recurrent unit. Experimental results show that our method achieves 78.3% of rank-1 recognition accuracy on the CUHK03 benchmark.

연구 동기 및 목표

• 제한된 훈련 데이터 하에서 관련 작업으로부터의 지식 전이를 통해 사람 재식별 성능을 향상시키는 것.
• 사람 재식별에서 카메라 뷰 간의 도메인 이동 및 외관 변동성 문제를 해결하는 것.
• 중위의 의미적 속성과 고위의 분류 특징을 활용하여 특징 표현을 향상시키는 것.
• 구분 가능한 신체 부위에 집중할 수 있도록 공간 게이트형 LSTM 메커니즘을 개발하여 재식별 정확도를 향상시키는 것.

제안 방법

• 다른 데이터셋(예: Market1501 및 자가 애너테이션을 적용한 웹 크롤링 데이터셋)에서 신원 분류 및 속성 인식 작업을 순차적으로 훈련하여 공유되는 중위의 의미적 표현을 학습한다.
• 사전 훈련된 분류 및 속성 모델에서 재식별 모델로 지식을 전이하기 위해 특징 정밀화를 활용하며, 이로 인해 특징의 구분 능력이 향상된다.
• 학습 가능한 게이트 메커니즘이 있는 공간 게이트형 LSTM 구성 요소를 도입하여 각 순환 단계에서 특징 맵의 특정 공간 영역을 동적으로 강조한다.
• 공간 게이트는 더 낮은 층에서 적용되어 세밀한 공간 세부 정보를 유지하며, 중요한 신체 부위에 대한 주의를 향상시킨다.
• 게이트형 LSTM과 함께 재식별 모델을 엔드 투 엔드로 훈련함으로써, 특징 추출 과정에서 주의가 유연하게 관련 영역에 집중할 수 있도록 한다.
• 이 프레임워크는 교차 도메인 전이를 지원하며, 한 데이터셋(예: Market1501)에서 훈련된 모델을 다른 데이터셋(예: CUHK03)에서 미세조정함으로써 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 신원 분류 및 속성 인식 작업에서 유래한 지식이 사람 재식별 성능 향상에 기여하는가?
• RQ2 다른 데이터 분포에서 유래한 교차 도메인 지식 전이가 재식별 정확도에 어떤 영향을 미치는가?
• RQ3 LSTM에 공간 게이트형 주의 메커니즘을 통합하면 재식별을 위한 특징 표현이 향상되는가?
• RQ4 중위의 의미적 특징(속성)과 고위의 분류 특징 간에 재식별에서 어떤 기여도가 있는가?
• RQ5 제안된 방법은 유사한 실세계 조건을 가진 새로운 데이터셋에 일반화 가능한가?

주요 결과

• 제안된 방법은 CUHK03 벤치마크에서 78.3%의 랭크-1 정확도를 달성하여 기존 최신 기술을 크게 능가한다.
• 세밀한 마스크 주의 기반의 공간 게이트형 LSTM은 전역, 국소 및 소프트 주의 마스크보다 성능이 뛰어나 테스트된 모든 마스크 유형 중 최고 성능을 기록한다.
• 세밀한 마스크 주의 기반 메커니즘은 더 높은 해상도의 공간 세부 정보를 유지하는 하위층 특징에 집중함으로써 성능 향상을 이룬다.
• 9,000명의 신원을 포함한 더 큰 자가 애너테이션 데이터셋에서의 훈련으로 랭크-1 정확도가 Market1501의 74.8%에서 78.3%로 상승하여 더 많은 데이터의 이점이 있음을 입증한다.
• 모델은 새로운 데이터셋으로의 일반화 능력이 뛰어나 일광, 자세 및 시야각의 변동성이 있는 실세계 환경에서도 뛰어난 성능을 보인다.
• 제거 실험을 통해 속성 인식 및 신원 분류 작업에서의 지식 전이가 재식별 정확도 향상에 크게 기여하는 것으로 확인되었다.