[논문 리뷰] Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval

Zhaopeng Dou, Zhongdao Wang외 3명|arXiv (Cornell University)|2022. 10. 24.

Video Surveillance and Tracking Methods인용 수 5

한 줄 요약

이 논문은 단일 네트워크 내에서 데이터 불확실성(샘플 품질)과 모델 불확실성(예측 신뢰도)을 동시에 모델링함으로써 예측의 신뢰성을 향상시키는 새로운 방법인 불확실성 인식 학습(Uncertainty-Aware Learning, UAL)을 제안한다. 표본 추출이 없는 데이터 불확실성 학습 방법과 베이지안 매개변수 추정을 활용하여, 단일 쿼리, 다중 쿼리, 위험 제어 설정 모두에서 성능을 향상시키며, 세 가지 벤치마크에서 최신 기준 성능을 달성하면서 저품질 쿼리에 대한 강건성을 향상시킨다.

ABSTRACT

Current person image retrieval methods have achieved great improvements in accuracy metrics. However, they rarely describe the reliability of the prediction. In this paper, we propose an Uncertainty-Aware Learning (UAL) method to remedy this issue. UAL aims at providing reliability-aware predictions by considering data uncertainty and model uncertainty simultaneously. Data uncertainty captures the ``noise" inherent in the sample, while model uncertainty depicts the model's confidence in the sample's prediction. Specifically, in UAL, (1) we propose a sampling-free data uncertainty learning method to adaptively assign weights to different samples during training, down-weighting the low-quality ambiguous samples. (2) we leverage the Bayesian framework to model the model uncertainty by assuming the parameters of the network follow a Bernoulli distribution. (3) the data uncertainty and the model uncertainty are jointly learned in a unified network, and they serve as two fundamental criteria for the reliability assessment: if a probe is high-quality (low data uncertainty) and the model is confident in the prediction of the probe (low model uncertainty), the final ranking will be assessed as reliable. Experiments under the risk-controlled settings and the multi-query settings show the proposed reliability assessment is effective. Our method also shows superior performance on three challenging benchmarks under the vanilla single query settings.

연구 동기 및 목표

• 기존의 인물 재식별 방법들이 예측의 신뢰도나 품질을 명시하지 않고 결과를 제공하는 데서 비롯되는 신뢰성 평가 부족 문제를 해결하기 위해.
• 학습 중에 낮은 품질이거나 모호한 샘플의 영향을 적응형 불확실성 기반 샘플 가중치를 통해 감소시킴으로써 모델의 강건성을 향상시키기 위해.
• 데이터 불확실성(샘플 내 임베디드 노이즈)과 모델 불확실성(모델의 신뢰도)을 하나의 프레임워크에 통합하여 신뢰도 인식 랭킹을 가능하게 하기 위해.
• 쿼리 품질이 크게 변하는 다중 쿼리 및 위험 제어 설정에서 효과적인 신뢰도 평가를 가능하게 하기 위해.
• 외부 지도 신호나 복잡한 표본 추출 절차 없이도 정확도와 신뢰도를 동시에 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 표본 추출 없이 잠재 특성 분포의 분산을 직접 회귀함으로써 데이터 불확실성을 학습하는 표본 추출이 없는 방법을 제안하며, 이는 학습 중 샘플에 대한 적응형 가중치 할당에 사용된다.
• 베이지안 신경망 프레임워크를 사용하여 모델 불확실성을 모델링하며, 네트워크 매개변수를 베르누이 분포로 가정하여 예측 신뢰도를 캡처한다.
• 데이터 불확실성과 모델 불확실성을 통합한 유일한 네트워크 아키텍처를 설계하여 양자 유형의 불확실성을 동시에 학습할 수 있도록 한다.
• 잠재 가우시안 분포의 평균을 특성 표현으로 사용하고, 분산을 데이터 불확실성 측정치로 사용한다.
• 추론 중에 몬테카를로 드롭아웃을 사용하며, T개의 추론 스텝을 통해 다중 전방전파의 분산을 계산하여 모델 불확실성을 추정한다.
• 두 가지 불확실성 유형을 통합하여 검색 결과의 신뢰도를 평가한다: 낮은 데이터 불확실성(고품질 이미지)과 낮은 모델 불확실성(높은 신뢰도)은 신뢰할 수 있는 예측을 나타낸다.

실험 결과

연구 질문

• RQ1 데이터 불확실성과 모델 불확실성을 동시에 모델링하면 인물 재식별 예측의 신뢰성이 향상되는가?
• RQ2 표본 추출이 없는 데이터 불확실성 학습 접근법이 저품질이거나 모호한 학습 샘플의 영향을 효과적으로 억제하는가?
• RQ3 추가적인 추론 복잡도 없이도 베이지안 매개변수 추정이 ReID에서 모델 불확실성을 효과적으로 캡처할 수 있는가?
• RQ4 불확실성 인식 랭킹은 다중 쿼리 및 위험 제어 설정에서 성능을 어떻게 향상시키는가?
• RQ5 제안된 불확실성 인식 방법은 표준 단일 쿼리 평가 프로토콜에서 최신 기준 성능을 달성하는가?

주요 결과

• UAL은 ResNet50 백본을 사용할 때 세 가지 주요 벤치마크에서 최신 기준 성능을 달성한다: Market-1501 (Rank-1: 95.2%, mAP: 87.0%), CUHK03-NP (Rank-1: 80.0%, mAP: 56.5%), MSMT17 (Rank-1: 84.7%, mAP: 65.3%).
• 표본 추출이 없는 방법을 사용함으로써 HOReID 및 PGFA와 같은 강력한 베이스라인보다 정확도와 추론 효율성 면에서 크게 앞서며, T=5일 때 뿐만 아니라 뿐다.
• 제거 실험을 통해 데이터 불확실성과 모델 불확실성이 성능 향상에 긍정적인 기여를 하는 것으로 확인되었으며, 특히 데이터 불확실성이 더 큰 기여를 하였다 (예: MSMT17에서 양자 모두 사용 시 mAP +3.5%).
• HRNet-W32에서도 뛰어난 성능을 기록하여 Market-1501에서 95.7% Rank-1과 89.5% mAP를 달성함으로써 다양한 백본에 대해 효과적임을 입증하였다.
• 다중 쿼리 및 위험 제어 설정에서 불확실성 기반의 신뢰도 평가가 저품질 쿼리를 가중치를 낮춤으로써 검색 성능을 향상시켰으며, 이는 방법의 실용적 유용성을 확인한다.
• 초기화 파라미터 T(몬테카를로 샘플 수)는 T=10를 초과하면 성능에 거의 영향을 주지 않으며, 이는 작은 T 값에서도 효과적이고 효율적임을 나타낸다.