[논문 리뷰] Unsupervised Data Uncertainty Learning in Visual Retrieval Systems

Ahmed Taha, Yi‐Ting Chen외 3명|arXiv (Cornell University)|2019. 02. 07.

Domain Adaptation and Few-Shot Learning참고 문헌 34인용 수 5

한 줄 요약

이 논문은 시각적 검색 시스템에서 이종분산 데이터 불확실성을 모델링하기 위해 삼중체 손실의 비지도 확장 방법을 제안한다. 각 입력에 대해 개별적인 불확실성 추정치를 학습함으로써, 손실 함수에 불확실성을 통합함으로써 모델의 강인성, 해석 가능성 및 효율성을 향상시킨다. 이는 오류 전파를 줄이고 계산 비용을 증가시키지 않으면서도 데이터 정제를 가능하게 한다.

ABSTRACT

We introduce an unsupervised formulation to estimate heteroscedastic uncertainty in retrieval systems. We propose an extension to triplet loss that models data uncertainty for each input. Besides improving performance, our formulation models local noise in the embedding space. It quantifies input uncertainty and thus enhances interpretability of the system. This helps identify noisy observations in query and search databases. Evaluation on both image and video retrieval applications highlight the utility of our approach. We highlight our efficiency in modeling local noise using two real-world datasets: Clothing1M and Honda Driving datasets. Qualitative results illustrate our ability in identifying confusing scenarios in various domains. Uncertainty learning also enables data cleaning by detecting noisy training labels.

연구 동기 및 목표

• 노이즈가 있는 레이블과 모호한 입력으로 인한 시각적 검색 시스템 내부의 본질적 데이터 불확실성 문제를 다루기.
• 학습 및 추론 단계 모두에서 혼란스럽거나 불확실한 시각적 예제를 식별함으로써 모델의 해석 가능성 향상.
• 라벨이 없는 불확실성 정보를 요구하지 않고도 임베딩 공간 내 국소적 노이즈를 모델링함으로써 시스템의 강인성과 효율성 향상.
• 불확실성 정량화를 통해 노이즈가 있는 학습 레이블을 탐지함으로써 데이터 정제를 가능하게 하기.
• 고위험 기반 응용 분야인 자율 주행과 같은 안전 중심 응용 분야에서 높은 불확실성과 모호한 주행 시나리오를 식별하기.

제안 방법

• 기본 삼중체 손실을 확장하여 앵커, 양성 및 부정성 샘플에 대해 개별적인 불확실성 추정치를 통합한다.
• 모든 데이터 포인트에 대해 입력에 따라 달라지는 불확실성 분산 σ(x)를 학습함으로써 이종분산 불확실성을 모델링한다. 이는 일정한 노이즈 수준을 가정하는 것과는 대비된다.
• 높은 불확실성의 입력이 최적화 과정에서 가중치가 낮아지도록 손실 함수에 불확실성을 통합한다.
• 명시적인 불확실성 레이블이 필요하지 않은 비지도 설정을 사용하여 실제 노이즈가 많은 데이터셋에 적용 가능하도록 한다.
• 추가 파rameter나 복잡한 추론 메커니즘을 피함으로써 계산 효율성을 유지한다.
• 이 방법을 이미지(예: 사람 재식별, 패션 검색) 및 비디오(예: 자율 주행) 검색 작업 모두에 적용한다.

실험 결과

연구 질문

• RQ1 라벨이 없는 불확실성 정보를 요구하지 않고도 이종분산 불확실성을 시각적 검색 시스템에서 효과적으로 모델링할 수 있는가?
• RQ2 개별 입력에 대한 불확실성 모델링이 노이즈가 많은 데이터셋에서 검색 성능과 강인성을 어떻게 향상시키는가?
• RQ3 불확실성 추정은 훈련 및 테스트 데이터에서 혼란스럽거나 모호한 시각적 예제를 어느 정도 정확하게 식별할 수 있는가?
• RQ4 불확실성 모델링은 자율 주행과 같은 실세계 응용 분야에서 해석 가능성과 데이터 정제를 향상시키는가?
• RQ5 이 방법은 다양한 데이터 모odal(이미지 대비 비디오)과 클래스 불균형 상황에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 이미지 및 비디오 검색 벤치마크에서 모두 효율성 1-2% 향상로 성능 향상을 보였다.
• DukeMTMC-ReID 데이터셋에서 모델은 가림되거나 모호한 사람 재식별 사례와 같은 높은 불확실성 쿼리를 성공적으로 식별하였다.
• Honda Driving Dataset에서 시스템은 보행자에 의해 차단된 오른쪽 전환 또는 복잡한 차선 변경과 같은 높은 불확실성 주행 동작을 탐지하였다.
• 자극 유도 행동 검색 작업에서 이 방법은 마이크로 mAP 68.20 ± 0.008 및 마크로 mAP 36.23 ± 0.008를 달성하여 베이스라인을 능가하였다.
• 정성적 결과에서는 높은 불확실성 쿼리가 항상 시각적 혼동과 관련이 있었으며, 예를 들어 클래스 간 유사성 또는 가림 현상 등이었고, 저불확실성 케이스는 더 명확하게 구분되었다.
• 성능 향상에도 불구하고, 소수의 클래스에 대한 편향이 나타나며, 드문 그러나 불확실한 샘플들이 과도하게 감쇄되면서 마크로 mAP가 감소하였다.