[논문 리뷰] A Multi-task Deep Network for Person Re-identification

Weihua Chen, Xiaotang Chen외 2명|arXiv (Cornell University)|2016. 07. 19.

Video Surveillance and Tracking Methods참고 문헌 27인용 수 12

한 줄 요약

이 논문은 사람 재식별을 위한 이중 분류 및 랭킹 손실을 동시에 최적화하는 다중 작업 딥 네트워크(MTDnet)를 제안하며, 단일 손실 방법보다 성능을 크게 향상시킨다. 이 방법은 CUHK03에서 SOTA 랭크-1 정확도 74.68%를 달성하는 등 여러 벤치마크에서 최고 성능을 기록하며, 대규모 소스 데이터셋에서의 지식 전이를 통한 크로스 도메인 아키텍처를 통해 소규모 데이터에 대한 일반화 능력을 더욱 향상시킨다.

ABSTRACT

Person re-identification (ReID) focuses on identifying people across different scenes in video surveillance, which is usually formulated as a binary classification task or a ranking task in current person ReID approaches. In this paper, we take both tasks into account and propose a multi-task deep network (MTDnet) that makes use of their own advantages and jointly optimize the two tasks simultaneously for person ReID. To the best of our knowledge, we are the first to integrate both tasks in one network to solve the person ReID. We show that our proposed architecture significantly boosts the performance. Furthermore, deep architecture in general requires a sufficient dataset for training, which is usually not met in person ReID. To cope with this situation, we further extend the MTDnet and propose a cross-domain architecture that is capable of using an auxiliary set to assist training on small target sets. In the experiments, our approach outperforms most of existing person ReID algorithms on representative datasets including CUHK03, CUHK01, VIPeR, iLIDS and PRID2011, which clearly demonstrates the effectiveness of the proposed approach.

연구 동기 및 목표

• 사람 재식별에서 이진 분류나 랭킹 손실을 단독으로 사용할 경우, 상충되는 최적화 목표로 인해 최적의 특징 학습이 어려워지는 한계를 해결하기 위해.
• 분류 및 랭킹 작업을 하나의 딥 네트워크에 통합하여 상호보완적인 강점을 활용해 더 나은 특징 표현을 향상시키기 위해.
• 충분한 훈련 데이터가 확보되지 않는 소규모 사람 ReID 데이터셋에서 성능을 향상시키기 위해, 지식 전이를 위한 크로스 도메인 아키텍처를 도입하기 위해.
• 통합된 네트워크 아키텍처에서 다중 손실을 동시 최적화할 경우, 별도의 훈련 또는 점수 수준 융합보다 더 뛰어난 성능을 얻을 수 있음을 입증하기 위해.

제안 방법

• MTDnet 아키텍처는 딥 컨volution 네트워크의 서로 다른 레이어에서 이진 분류 손실과 트리플릿 랭킹 손실을 동시에 최적화하여, 분류 가능한 특징과 상대적 거리 제약 조건을 동시에 학습할 수 있도록 한다.
• 분류 손실은 마지막 완전 연결 레이어에 적용되어 양성 및 음성 쌍의 정확한 분류를 장려하고, 랭킹 손실은 이전의 컨볼루션 레이어에 적용되어 상대적 거리 순서를 강제한다.
• 대규모 소스 데이터셋(예: CUHK03)에서 사전 훈련된 모델을 사용해 소스 및 타겟 도메인 네트워크를 초기화하는 크로스 도메인 아키텍처를 제안하며, 이로써 대규모 소스 도메인에서의 지식 전이가 가능해진다.
• 훈련 중에는 소스 도메인 네트워크는 고정되고, 타겟 도메인 네트워크는 병합된 다중 작업 손실을 사용해 피니테이닝된다. 추론 시에는 오직 타겟 도메인 네트워크만 사용된다.
• 네트워크는 분류 및 랭킹 목표를 균형 있게 반영하는 병합된 손실 함수를 사용해 엔드 투 엔드 백프로파게이션으로 훈련된다.
• 이 방법은 CUHK03, CUHK01, VIPeR, iLIDS, PRID2011의 다섯 가지 표준 ReID 데이터셋에서 평가되었으며, 랭크-1 정확도와 CMC 곡선을 통해 성능이 측정되었다.

실험 결과

연구 질문

• RQ1 단일 딥 네트워크에서 분류 및 랭킹 손실을 동시에 최적화할 경우, 각각의 손실을 별도로 사용하는 것보다 사람 재식별 성능을 향상시킬 수 있는가?
• RQ2 분류 및 랭킹 작업을 통합함으로써 이진 분류 손실의 한계(예: 잘못 분류된 비율을 낮추는 것에 치우친 모델)를 완화할 수 있는가?
• RQ3 크로스 도메인 아키텍처를 통해 대규모 소스 데이터셋(예: CUHK03)에서의 지식 전이가 소규모 타겟 데이터셋에서의 성능 향상에 효과적으로 기여하는가?
• RQ4 다양한 데이터셋에서 랭크-1 정확도 및 CMC 성능 측면에서 제안된 다중 작업 네트워크는 기존 최고 수준의 방법들과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 다중 작업 네트워크(MTDnet)는 CUHK03 데이터셋에서 랭크-1 정확도 74.68%를 기록하며, 비교된 모든 방법(포함해 최고 수준의 접근법)을 능가한다.
• CUHK01, VIPeR, iLIDS, PRID2011의 네 개의 소규모 데이터셋에서 MTDnet은 분류 또는 랭킹 손실만 사용해 훈련된 단일 작업 기반 모델보다 일관되게 뛰어난 성능을 보였다.
• 크로스 도메인 아키텍처(MTDnet-cross)는 표준 피니테이닝(MTDnet)에 비해 소규모 데이터셋에서 성능을 크게 향상시켜, 대규모 소스 도메인에서의 지식 전이의 효과성을 입증한다.
• MTDnet-aug(소스 및 타겟 데이터를 직접 혼합한 데이터 증강 기반 베이스라인)보다 MTDnet-cross의 성능이 뛰어나, 직접적인 데이터 혼합이 일반화 능력에 악영향을 줄 수 있음을 시사한다.
• 제거 분석 결과, 최종 레이어의 분류 손실이 성능 향상에 크게 기여하며, MTDnet(두 손실 모두 포함)가 MTDtrp(랭킹 손실 전용)에 비해 크게 뛰어난 성능을 보임을 확인했다.
• 결과적으로, 하나의 네트워크 아키텍처에서 두 손실을 동시에 최적화하는 것이 점수 수준 융합이나 별도 훈련보다 더 효과적이며, 이는 두 작업 간의 상호보완성을 확인한다.