[논문 리뷰] Re-identification = Retrieval + Verification: Back to Essence and Forward with a New Metric

Zheng Wang, Xin Yuan외 4명|arXiv (Cornell University)|2020. 11. 23.

Advanced Image and Video Retrieval Techniques참고 문헌 17인용 수 8

한 줄 요약

이 논문은 개방형 설정 재식별(Re-ID) 시나리오에서 검색과 검증을 통합하는 통합 평가 프레임워크인 진정성 있는 개방형 설정 Re-ID 메트릭(Genuine Open-set re-ID Metric, GOM)을 제안한다. GOM은 평균 Re-ID 정밀도(mReP)와 평균 오류율(mFR)과 같은 서브메트릭을 사용하여 두 작업 간의 성능를 균형 있게 조정하며, 인간 평가와의 뛰어난 일치도를 보이며 기존 메트릭인 mAP와 CMC의 한계를 드러낸다.

ABSTRACT

Re-identification (re-ID) is currently investigated as a closed-world image retrieval task, and evaluated by retrieval based metrics. The algorithms return ranking lists to users, but cannot tell which images are the true target. In essence, current re-ID overemphasizes the importance of retrieval but underemphasizes that of verification, extit{i.e.}, all returned images are considered as the target. On the other hand, re-ID should also include the scenario that the query identity does not appear in the gallery. To this end, we go back to the essence of re-ID, extit{i.e.}, a combination of retrieval and verification in an open-set setting, and put forward a new metric, namely, Genuine Open-set re-ID Metric (GOM). GOM explicitly balances the effect of performing retrieval and verification into a single unified metric. It can also be decomposed into a family of sub-metrics, enabling a clear analysis of re-ID performance. We evaluate the effectiveness of GOM on the re-ID benchmarks, showing its ability to capture important aspects of re-ID performance that have not been taken into account by established metrics so far. Furthermore, we show GOM scores excellent in aligning with human visual evaluation of re-ID performance. Related codes are available at https://github.com/YuanXinCherry/Person-reID-Evaluation

연구 동기 및 목표

• 현재의 Re-ID 평가 메트릭이 검색에만 집중하고 검증 및 개방형 설정 조건을 간과하는 한계를 해결하기 위해.
• 검색과 검증 성능을 균형 잡히고 종합적으로 평가할 수 있는 통합 메트릭을 제안하기 위해.
• 다양한 응용 우선순위(예: 검증 대비 검색 대비 개방형 설정에 대한 내성성)에 맞춘 서브메트릭을 제공하여 보다 나은 알고리즘 선택을 가능하게 하기 위해.
• 메트릭 성능를 인간의 시각적 평가와 더 밀접하게 일치시키기 위해.
• mAP와 CMC를 넘어서 더 종합적인 평가 기준을 도입하여 Re-ID 공동체가 채택하도록 유도하기 위해.

제안 방법

• 개방형 설정 Re-ID에서 프로브 식별자가 갤러리에 존재하지 않을 수 있음을 명시적으로 모델링하는 바탕으로, 검색과 검증을 통합한 GOM을 제안한다.
• 핵심 서브메트릭 두 가지를 도입한다: 검증 성능 평가를 위한 평균 Re-ID 정밀도(mReP)와 개방형 설정 내성성 평가를 위한 평균 오류율(mFR).
• 다양한 임계값에서 상위 랭킹 매칭의 정밀도를 평가하기 위해 mReP를 사용하며, mReP_max는 최고 성능를 나타낸다.
• 메서드 비교를 위한 스칼라 요약 통계로 MREP(최대 Re-ID 정밀도)와 MFR(최대 오류율)를 도입한다.
• 기준 기반 검증 절차를 활용하여 반환된 이미지 중 참 긍정(정확한 매칭)을 평가함으로써 랭킹 중심 메트릭을 넘어서는 평가를 가능하게 한다.
• 사용자 연구를 통해 메트릭 점수와 인간의 시각적 평가 간의 일치도를 검증한다.

실험 결과

연구 질문

• RQ1 기존의 Re-ID 메트릭는 검증 및 개방형 설정 시나리오에서 성능의 전반적인 범위를 어떻게 간과하는가?
• RQ2 제안된 GOM 메트릭는 인간의 시각적 평가와 얼마나 잘 일치하는가?
• RQ3 다양한 평가 기준(예: 검증, 검색, 개방형 설정 내성성)에서 어떤 Re-ID 방법이 가장 우수한가?
• RQ4 GOM은 mAP나 CMC가 감지하지 못하는 상태최근 기술(SOTA) 메서드 간의 성능 차이를 드러낼 수 있는가?
• RQ5 GOM은 인간 평가와의 일치도를 높여 실생활 응용에서 다양한 우선순위(예: 임의의 양성률 최소화 vs. 정확한 매칭 최대화)를 가진 알고리즘 선택을 어떻게 향상시키는가?

주요 결과

• GOM은 인간의 시각적 평가와 강력한 일치도를 보이며, 최고 평가를 받은 메서드(AGW)가 MREP과 MFR 점수에서도 최고를 기록했다.
• FastReID와 AGW는 각각 79.4와 81.4의 mReP_max를 기록하여 최적의 임계값 하에서 뛰어난 검증 성능를 입증했다.
• AGW는 MREP(55.7)와 MFR(55.7) 모두 최고 수준을 기록하여 소음 영향을 최소화하고 개방형 설정에서 가장 뛰어난 내성성을 보였다.
• 사용자 연구 결과, GOM 점수(특히 mReP와 MREP)가 높은 메서드일수록 평균 검색 시간이 짧고 인간 평가 점수가 높았다.
• 기존 메트릭인 mAP와 CMC는 GOM가 검증 및 개방형 설정 분석을 통해 드러내는 성능 차이를 식별하지 못했다.
• BagTricks는 MREP과 MFR에서 최고 성능를 기록하여 검색 및 개방형 설정 내성성에서 뛰어난 성능를 보였지만, 인간 평가에서는 AGW에 뒤진다. 이는 GOM이 이러한 미세한 성능 격차를 감지할 수 있음을 시사한다.