[논문 리뷰] Probability Weighted Compact Feature for Domain Adaptive Retrieval

Fuxiang Huang, Lei Zhang외 2명|arXiv (Cornell University)|2020. 03. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 33인용 수 4

한 줄 요약

이 논문은 베이지안 시각에서 유도된 손실 함수와 이웃의 히스토그램 특징(HFON)을 활용하여 도메인 간 상관관계를 모델링하고 분포 불일치를 완화함으로써, 교차 도메인 이미지 검색을 위한 새로운 방법인 확률 가중 복합 특징 학습(PWCF)을 제안한다. 공유 다양체 구조와 함께 BP 유도 초점 트리플릿, 양자화 및 분류 손실 함수를 통합함으로써, PWCF는 압축된 이진 코드를 사용함에도 불구하고 교차 도메인 및 단일 도메인 검색 모두에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Domain adaptive image retrieval includes single-domain retrieval and cross-domain retrieval. Most of the existing image retrieval methods only focus on single-domain retrieval, which assumes that the distributions of retrieval databases and queries are similar. However, in practical application, the discrepancies between retrieval databases often taken in ideal illumination/pose/background/camera conditions and queries usually obtained in uncontrolled conditions are very large. In this paper, considering the practical application, we focus on challenging cross-domain retrieval. To address the problem, we propose an effective method named Probability Weighted Compact Feature Learning (PWCF), which provides inter-domain correlation guidance to promote cross-domain retrieval accuracy and learns a series of compact binary codes to improve the retrieval speed. First, we derive our loss function through the Maximum A Posteriori Estimation (MAP): Bayesian Perspective (BP) induced focal-triplet loss, BP induced quantization loss and BP induced classification loss. Second, we propose a common manifold structure between domains to explore the potential correlation across domains. Considering the original feature representation is biased due to the inter-domain discrepancy, the manifold structure is difficult to be constructed. Therefore, we propose a new feature named Histogram Feature of Neighbors (HFON) from the sample statistics perspective. Extensive experiments on various benchmark databases validate that our method outperforms many state-of-the-art image retrieval methods for domain adaptive image retrieval. The source code is available at https://github.com/fuxianghuang1/PWCF

연구 동기 및 목표

• 분포 불일치로 인해 서로 다른 도메인에서 온 쿼리와 데이터베이스 간 성능 저하 문제를 해결하기 위해.
• 기존 방법이 유사한 데이터 분포를 전제로 하지만, 실제에서는 분포가 다를 수 있는 교차 도메인 환경에서의 검색 정확도를 향상시키기 위해.
• 검색 속도를 높이기 위해 압축된 이진 특징 표현을 개발하면서도 교차 도메인 의미적 유사성을 유지하기 위해.
• 공유 다각도 구조를 통해 도메인 간 이격을 모델링하여 도메인 이격의 영향을 완화하기 위해.
• 이웃의 히스토그램 특징(HFON)이라는 강력한 유사도 메트릭을 제안하여 교차 도메인 이웃 관계를 더 잘 포착하기 위해.

제안 방법

• 삼중체 손실, 양자화 손실, 분류 손실을 포함한 세 가지 베이지안 시각(BP) 기반 손실 함수를 유도하여 이진 특징 학습을 최적화한다.
• 해밍 공간에서 의미 있는 근접 이웃 관계를 유지하기 위해 도메인 간 공통 다각도 구조를 구축한다.
• 이질적인 도메인 간 분포 이격에서 발생하는 편향을 줄이기 위해 도메인 간 저항력 있는 특징 표현으로서 이웃의 히스토그램 특징(HFON)을 도입한다.
• 최대 사후 확률(MAP) 추정을 활용해 손실 함수를 유도함으로써 특징의 분별성 향상과 양자화 오차 감소를 도모한다.
• 모델 구성 요소를 동시에 최적화하고 수렴을 보장하기 위해 가변 교대 최적화 전략을 활용한다.
• 모든 구성 요소를 통합된 프레임워크로 통합하여 특징 학습, 양자화, 교차 도메인 상관관계 모델링을 공동 최적화한다.

실험 결과

연구 질문

• RQ1 표준 삼중체나 분류 손실과 비교해 봤을 때, 베이지안 최적화 손실 함수가 교차 도메인 이미지 검색 성능 향상에 기여하는가?
• RQ2 제안된 이웃의 히스토그램 특징(HFON)이 분포 이격 상황에서도 교차 도메인 샘플 간 유사도를 얼마나 효과적으로 모델링하는가?
• RQ3 공유 다각도 구조가 이진 특징 공간 내에서 도메인 간 상관관계 학습을 얼마나 향상시키는가?
• RQ4 여러 BP 기반 손실 함수를 통합하면 개별 구성 요소보다 더 나은 압축 이진 코드 표현을 얻을 수 있는가?
• RQ5 PWCF는 다양한 데이터셋과 코드 길이에서 교차 도메인 및 단일 도메인 검색 환경 모두에서 어떻게 성능을 발휘하는가?

주요 결과

• PWCF는 128비트 코드를 사용할 때 Office-Home 데이터셋에서 평균 평균 정확도(mAP) 73.89%를 기록하여 최신 기술 수준의 방법들을 압도적으로 앞선다.
• MNIST&USPS 데이터셋에서는 64비트에서 교차 도메인 검색 시 mAP 71.64%를 달성하여 뛰어난 일반화 성능을 입증한다.
• 제거 실험 결과, 특히 BP 기반 초점 트리플릿 손실이나 HFON을 제거할 경우 성능 저하가 심각하게 발생함을 확인하였다.
• 제안된 방법은 빠른 수렴을 보이며, 여러 데이터셋에서 목적 함수 곡선이 몇 번의 반복 내에 안정적으로 수렴하는 것으로 나타났다.
• PWCF는 다양한 코드 길이에서 높은 성능 유지를 보이며, 실용적 구현에서의 강건성과 확장성의 잠재력을 입증하였다.
• 다양체 손실과 HFON의 포함이 항상 검색 정확도 향상에 기여함을 입증하여, 이들이 교차 도메인 관계 모델링에 효과적임을 입증하였다.