[논문 리뷰] Rethinking Person Re-Identification with Confidence.

George Adaimi, S. Kreiss외 1명|arXiv (Cornell University)|2019. 06. 11.

Video Surveillance and Tracking Methods인용 수 5

한 줄 요약

이 논문은 레이블 스무딩, 신뢰도 페널티, 딥 변동 정보 블로킹을 통해 교차 엔트로피 손실를 수정함으로써 신뢰도 인식 표현 학습 프레임워크를 제안한다. 이 방법은 수작업 특징에 의존하지 않고도 세 가지 공개 데이터셋에서 재식별 성능을 향상시켜 최신 기술을 초월한다. 예측 신뢰도를 명시적으로 모델링함으로써 성능 향상을 달성한다.

ABSTRACT

A common challenge in person re-identification systems is to differentiate people with very similar appearances. The current learning frameworks based on cross-entropy minimization are not suited for this challenge. To tackle this issue, we propose to modify the cross-entropy loss and model confidence in the representation learning framework using three methods: label smoothing, confidence penalty, and deep variational information bottleneck. A key property of our approach is the fact that we do not make use of any hand-crafted human characteristics but rather focus our attention on the learning supervision. Although methods modeling confidence did not show significant improvements on other computer vision tasks such as object classification, we are able to show their notable effect on the task of re-identifying people outperforming state-of-the-art methods on 3 publicly available datasets. Our analysis and experiments not only offer insights into the problems that person re-id suffers from, but also provide a simple and straightforward recipe to tackle this issue.

연구 동기 및 목표

• 사람 재식별 시스템에서 매우 유사한 외형을 가진 사람들을 구분하는 데 도전하는 것.
• 재식별을 위한 표현 학습에서 표준 교차 엔트로피 최소화의 한계를 극복하는 것.
• 학습 중 예측 신뢰도를 명시적으로 모델링하여 모델 일반화 능력을 향상시키는 것.
• 수동으로 정의된 특성이나 메타데이터가 아닌 감독 신호에만 의존하는 학습 프레임워크를 개발하는 것.

제안 방법

• 모델이 예측에서 과도하게 확신하지 않도록 지도 레이블을 부드럽게 하기 위해 레이블 스무딩을 적용한다.
• 불확실한 샘플에서 과도한 확신 예측을 방지하기 위해 모델을 정규화하는 신뢰도 페널티 항목을 도입한다.
• 정체성과 관련된 특징을 노이즈 및 관련 없는 변형에서 분리하기 위해 딥 변동 정보 블로킹을 통합한다.
• 이 세 가지 구성 요소를 통합된 학습 목표로 조합하여 표현 품질과 일반화 능력을 향상시킨다.
• 수정된 손실을 사용하여 모델을 엔드 투 엔드로 훈련시켜 재식별을 위한 강력하고 신뢰도 인식 특징을 학습한다.
• 보조 인간 정의 특성에 의존하는 대신 예측 신뢰도에 초점을 맞춘 감독 신호를 사용한다.

실험 결과

연구 질문

• RQ1 매우 유사한 외형을 가진 사람들을 재식별하는 데 있어 예측 신뢰도를 명시적으로 모델링하면 성능 향상이 이루어지는가?
• RQ2 레이블 스무딩 및 신뢰도 페널티와 같은 신뢰도 인식 손실 구성 요소가 재식별에서 표현 학습에 어떤 영향을 미치는가?
• RQ3 일반 컴퓨터 비전 작업(예: 이미지 분류)에서는 성능이 떨어지는 신뢰도 모델링 기법이 왜 재식별에서는 강력한 성과를 내는가?
• RQ4 수작업 특성 또는 메타데이터를 사용하지 않아도 신뢰도 모델링이 재식별 성능 향상에 어느 정도 기여할 수 있는가?

주요 결과

• 제안된 신뢰도 인식 프레임워크는 세 가지 공개 재식별 데이터셋에서 최신 기술을 초월한다.
• 레이블 스무딩, 신뢰도 페널티, 딥 변동 정보 블로킹이 함께 모델의 강건성과 일반화 능력을 향상시킨다.
• 수작업 특성이나 특징에 의존하지 않아도 뚜렷한 성능 향상이 이루어진다.
• 이 프레임워크는 정체성 간 유사성이 매우 높기 때문에 신뢰도 모델링이 재식별에 특히 효과적임을 보여준다.
• 실험 결과, 신뢰도 인식 학습이 과도한 확신을 줄이고 하드 네거티브 샘플에서 특징의 분류 능력을 향상시킨다.
• 예측 신뢰도에 대한 더 나은 감독을 통해 재식별 성능 향상에 효과적인 단순한 레시피를 제공한다.