[논문 리뷰] Temporal Model Adaptation for Person Re-Identification

Niki Martinel, Abir Das외 2명|arXiv (Cornell University)|2016. 07. 25.

Video Surveillance and Tracking Methods참고 문헌 34인용 수 13

한 줄 요약

이 논문은 최소한의 인간 레이블링으로 증분 학습이 가능한 인물 재식별을 위한 시간적 모델 적응 프레임워크를 제안한다. 확률적 ADMM 기반의 유사도-비유사도 거리 측정 학습 방법과 그래프 기반 활성 학습 전략을 결합하여 가장 정보가 많은 프로브-갤러리 쌍을 선별함으로써, 세 가지 데이터셋에서 기존의 전체 데이터로 훈련된 방법보다 레이블링 비용을 80% 감소시키면서도 랭크-1 정확도를 8% 이상 향상시켰다. 특히 PRID450S에서 15%의 레이블링만으로도 기존 최고 성능를 초월하였다.

ABSTRACT

Person re-identification is an open and challenging problem in computer vision. Majority of the efforts have been spent either to design the best feature representation or to learn the optimal matching metric. Most approaches have neglected the problem of adapting the selected features or the learned model over time. To address such a problem, we propose a temporal model adaptation scheme with human in the loop. We first introduce a similarity-dissimilarity learning method which can be trained in an incremental fashion by means of a stochastic alternating directions methods of multipliers optimization procedure. Then, to achieve temporal adaptation with limited human effort, we exploit a graph-based approach to present the user only the most informative probe-gallery matches that should be used to update the model. Results on three datasets have shown that our approach performs on par or even better than state-of-the-art approaches while reducing the manual pairwise labeling effort by about 80%.

연구 동기 및 목표

• 지속적으로 수집되는 시각적 데이터에 대해 동적으로 변화하는 인물 재식별 모델을 시간에 따라 적응시키는 도전 과제를 해결한다.
• 새로운 데이터로 모델를 업데이트하기 위해 일반적으로 요구되는 높은 인간 레이블링 비용을 줄인다.
• 초기 훈련부터 다시 시작하지 않고도 지속적인 모델 향상이 가능하게 하여 장기적인 성능 안정성을 확보한다.
• 레이블링 효율성을 극대화하기 위해 가장 정보가 많은 프로브-갤러리 매칭을 식별하고 우선순위를 정한다.
• 완전한 수동 레이블링 데이터로 훈련된 최신 기술과 비슷하거나 이를 초월하는 성능를 달성하면서도 수동 애너테이션 노력 최소화

제안 방법

• 유사한 이미지 쌍과 비유사한 이미지 쌍 양쪽에 대해 분류 가능한 임bedding을 학습할 수 있는 저랭크 희소 유사도-비유사도 거리 측정 학습 방법을 제안한다.
• 스토캐스틱 교차 방향 다중 승수법(ADMM) 최적화를 사용하여 증분적으로 거리 측정 모델을 훈련함으로써 효율적인 온라인 업데이트를 가능하게 한다.
• 주로셋 클러스터링을 활용한 그래프 기반 활성 학습 전략을 도입하여 각 프로브에 대해 가장 정보가 많은 갤러리 후보를 식별한다.
• 레이블링 비용을 줄이면서도 모델 성능 향상을 극대화하기 위해 가장 모호하거나 높은 불확실성도를 가진 프로브-갤러리 쌍만 선별하여 인간 레이블링을 수행한다.
• 플랫팅 스케일링을 사용하여 매칭 점수를 확률로 캘리브레이션하고, 활성 학습 루프에서 레이블링 대상 쌍 선정에 활용한다.
• 선택된 쌍에 대한 인간 피드백을 통합하여 모델을 증분적으로 업데이트함으로써 환경 변화에 대한 강건성과 적응성을 확보한다.

실험 결과

연구 질문

• RQ1 최소한의 인간 레이블링으로만 증분 업데이트를 통해 인물 재식별 모델을 시간에 따라 효과적으로 적응시킬 수 있는가?
• RQ2 모델 성능 향상에 대한 레이블링 노력의 효율성을 극대화하기 위해 가장 정보가 많은 프로브-갤러리 쌍을 자동으로 어떻게 선별할 수 있는가?
• RQ3 그래프 분할과 불확실성 추정 기반 활성 학습 전략이 랜덤 또는 완전한 지도 학습 레이블링에 비해 정확도와 레이블링 효율성 측면에서 뛰어나게 되는가?
• RQ4 스토캐스틱 ADMM 기반의 증분 학습이 배치 학습 대비 성능을 유지하거나 향상시키면서도 계산 비용을 줄일 수 있는가?
• RQ5 모델은 인간 레이블링 오류에 얼마나 강건한가? 오류 비율이 증가할수록 레이블링 노력은 어떻게 변화하는가?

주요 결과

• 제안된 방법은 수동 레이블링 비용의 5%만 사용하여 VIPeR 데이터셋에서 랭크-1 정확도 41.46%를 달성하였고, 전체 레이블링 데이터로 훈련된 완전 지도 기반 베이스라인(39.87%)을 뛰어넘었다.
• PRID450S 데이터셋에서 기존 최고 성능를 15%의 레이블링 데이터로 훈련함으로써 8% 이상 향상시켰으며, 100% 레이블링 데이터로 훈련된 최신 기술을 초월하였다.
• 그래프 기반 활성 학습 전략은 전체 감독 학습 대비 약 80%의 수동 레이블링 비용을 절감하면서도 성능를 유지하거나 향상시켰다.
• 스토캐스틱 ADMM 기반 훈련은 결정론적 ADMM(34.84 랭크-1)와 유사한 성능(35.15 랭크-1)을 달성했지만 훈련 시간을 크게 단축시켰다(2948초 대비 12051초)로써 지속적인 학습에 더 적합하다.
• 인간 레이블링 오류가 최대 15%까지 발생하더라도 모델은 효과적으로 기능함을 확인하여 실세계 배포 환경에서 노이즈 피드백에 강건함을 입증하였다.
• 무 supervision 또는 준 supervision 선택 기준을 사용할 경우 높은 잘못된 레이블링 비율로 인해 성능이 저하됨을 확인하였고, 이는 제안된 활성 학습 접근법의 우수성을 확인한다.