[논문 리뷰] Learning Deep Features via Congenerous Cosine Loss for Person Recognition

Yu Liu, Hongyang Li외 1명|arXiv (Cornell University)|2017. 02. 22.

Video Surveillance and Tracking Methods참고 문헌 17인용 수 56

한 줄 요약

이 논문은 중심점 기반 소프트맥스(centroid-based softmax)를 사용하여 클래스 내 유사도 증가 및 클래스 간 분산을 극대화하는 Congenerous Cosine (COCO) 손실을 도입한다. 테스트 시 파인튜닝 없이 한 번의 학습만으로 가능.

ABSTRACT

Person recognition aims at recognizing the same identity across time and space with complicated scenes and similar appearance. In this paper, we propose a novel method to address this task by training a network to obtain robust and representative features. The intuition is that we directly compare and optimize the cosine distance between two features - enlarging inter-class distinction as well as alleviating inner-class variance. We propose a congenerous cosine loss by minimizing the cosine distance between samples and their cluster centroid in a cooperative way. Such a design reduces the complexity and could be implemented via softmax with normalized inputs. Our method also differs from previous work in person recognition that we do not conduct a second training on the test subset. The identity of a person is determined by measuring the similarity from several body regions in the reference set. Experimental results show that the proposed approach achieves better classification accuracy against previous state-of-the-arts.

연구 동기 및 목표

• 무제한 환경에서 시간과 공간에 걸친 강건한 사람 인식을 동기부여한다.
• 클래스 간 간격을 최적화하고 클래스 내 분산을 줄이기 위해 코사인 유사도를 직접 최적화하는 손실을 개발한다.
• 다중 영역 정렬 기반 인식 파이프라인을 가능하게 하여 테스트 데이터에 대한 이차 학습을 피한다.
• COCO 손실로 단일 단계 학습이 PIPA에서 경쟁력 있거나 우수한 결과를 얻는지 보여준다.
• 과대적합을 줄이기 위한 영역 기여 및 정렬 분석을 제공한다.

제안 방법

• 미니배치 내 샘플과 그 클래스 중심점 사이의 코사인 유사도를 정의한다.
• 정규화된 특징과 중심점을 이용한 소프트맥스 기반으로 intra-class 응집력 및 inter-class 분리 가능성을 최적화하는 COCO 손실을 도입한다.
• Variance를 줄이기 위해 얼굴, 머리, 상반신, 전신의 네 영역 패치를 기반 위치에 정렬시키는 기법(아핀 변환)으로 정렬한다.
• PIPA 학습 세트에서 네 영역별 COCO 모델을 학습하고 추론 시 영역 점수를 결합한다.
• 추정 시 테스트_1에서 재학습 없이 로지스틱 정규화와 가중 평균으로 영역 간 유사도를 결합해 정체성을 예측한다.
• 정규화된 특징과 중심점으로 COCO 손실의 역전파를 상세히 제시하여 엔드투엔드 학습이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 비제한 이미지에서 사람 인식을 위한 중심점 기반 코사인 손실이 클래스 간 간격을 개선하고 클래스 내 응집도를 높일 수 있는가?
• RQ2 영역 패치를 기반 위치에 정렬하는 것이 내부 클래스 분산을 줄이고 인식 정확도를 개선하는가?
• RQ3 단일 단계 학습 체제에서 여러 신체 영역 신호를 집계하는 것이 인식 성능에 어떤 영향을 미치는가?
• RQ4 테스트_0에서 이차 학습 없이 테스트 분할 간의 특징을 직접 비교하여 사람 인식을 수행하는 것이 가능한가?
• RQ5 COCO 손실이 특징 시각화 및 판별에서 표준 소프트맥스와 비교해 어떤 영향을 미치는가?

주요 결과

• COCO 손실은 특징 공간에서 클래스 간 거리를 확대하고 클래스 내 분산을 감소시킨다.
• 영역 패치를 정렬하는 것이 영역 간 성능을 크게 향상시킨다.
• 얼굴 및 머리 영역이 영역 중 가장 강한 신호를 제공하며, 정렬에 따라 전신 영역의 기여도는 다르다.
• 네 영역을 모두 결합하면 원래 세트의 정확도가 가장 높아지고 단일 영역 신호 대비 다른 분할에서도 향상된다.
• 본 방법은 PIPA 데이터셋의 원본, 앨범, 시간, 날짜 분할에서 이전의 최첨단 성능을 상회한다.
• 영역 기반 점수를 정규화 및 가중 평균으로 결합하여 테스트 시 재훈련 없이 최종 정체성을 도출할 수 있다.