[논문 리뷰] Unifying Specialist Image Embedding into Universal Image Embedding

Yang Feng, Futang Peng외 8명|arXiv (Cornell University)|2020. 03. 08.

Advanced Image and Video Retrieval Techniques참고 문헌 31인용 수 5

한 줄 요약

이 논문은 다양한 전문 분야의 이미지 임베딩 모델을 하나의 유니버설 이미지 임베딩 모델로 통합하는 새로운 지식 정복 방법을 제안한다. 이 방법은 각 전문 모델이 전담하는 도메인에서의 성능에 맞추어 성능을 달성한다. 상호 이미지 간 거리 값을 확률 분포로 변환하고, 전문 모델과 유니버설 모델 간의 KL 발산을 최소화함으로써 과적합을 방지하며, 다양한 이미지 도메인(세부적인 새 및 자동차 인식, 일반 ImageNet 포함)에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Deep image embedding provides a way to measure the semantic similarity of two images. It plays a central role in many applications such as image search, face verification, and zero-shot learning. It is desirable to have a universal deep embedding model applicable to various domains of images. However, existing methods mainly rely on training specialist embedding models each of which is applicable to images from a single domain. In this paper, we study an important but unexplored task: how to train a single universal image embedding model to match the performance of several specialists on each specialist's domain. Simply fusing the training data from multiple domains cannot solve this problem because some domains become overfitted sooner when trained together using existing methods. Therefore, we propose to distill the knowledge in multiple specialists into a universal embedding to solve this problem. In contrast to existing embedding distillation methods that distill the absolute distances between images, we transform the absolute distances between images into a probabilistic distribution and minimize the KL-divergence between the distributions of the specialists and the universal embedding. Using several public datasets, we validate that our proposed method accomplishes the goal of universal image embedding.

연구 동기 및 목표

• 각 도메인에서 전문 모델과 동일한 성능을 내는 유니버설 이미지 임베딩 모델을 개발하는 것.
• 다양한 도메인 데이터를 융합하여 단일 모델을 훈련할 때 발생하는 조기 과적합 문제를 해결하는 것.
• 도메인 불균형과 비효율적 샘플링으로 인해 성능 저하가 발생하는 직접적인 데이터 융합의 한계를 극복하는 것.
• 일관된 임베딩 모델을 다양한 응용 분야에 배포하여 저장 및 계산 오버헤드를 줄이는 것.
• 성능 손실 없이 굵은 임베딩과 세밀한 임베딩 도메인을 통합하는 것, 특히 세밀한 임베딩 검색 작업에서의 성능을 강화하는 것.

제안 방법

• 다양한 사전 훈련된 전문 임베딩 모델의 지식을 새로운 확률적 정복 프레임워크를 사용하여 유니버설 모델로 정복하는 것.
• t-SNE에 영향을 받은 기법을 사용하여 절대적인 상호 이미지 간 거리를 확률 분포로 변환하여 도메인 간 척도 차이를 정규화하는 것.
• 전문 모델의 거리 확률 분포와 유니버설 모델의 분포 간 KL 발산을 최소화하는 것.
• 특히 굵은 임베딩과 세밀한 임베딩 도메인을 통합할 때 발생하는 거리 수축 문제를 해결하기 위해 SNE 기반 정복(SND)의 수정된 버전을 적용하는 것.
• 특히 자원이 적은 도메인도 충분히 표현될 수 있도록 훈련 중 도메인 균형 샘플링을 적용하는 것.
• 일반 ImageNet 데이터에 대해서는 트리플릿 손실을, 전문 데이터에 대해서는 정복 기반 손실을 사용하여 유니버설 모델을 훈련함으로써 도메인 간 강건성을 확보하는 것.

실험 결과

연구 질문

• RQ1 단일 유니버설 이미지 임베딩 모델이 각 도메인에서 전문 모델과 동일한 성능을 달성할 수 있는가?
• RQ2 다양한 도메인의 단순 데이터 융합이 전문 모델 성능에 맞는 유니버설 모델을 생성하지 못하는 이유는 무엇인가?
• RQ3 다양한 전문 모델의 지식을 도메인 불균형이나 과적합 없이 효과적으로 유니버설 모델로 전이할 수 있는가?
• RQ4 다른 척도와 해상도를 가진 도메인 간 임베딩을 정렬하는 데 확률적 거리 분포를 사용할 수 있는가?
• RQ5 제안된 정복 방법이 다중 도메인 이미지 검색에서 직접 융합 데이터로 훈련하거나 연결 기반 기준 모델보다 우수한 성능을 내는가?

주요 결과

• 제안된 정복 방법은 ImageNet과 세밀한 데이터셋을 통합할 때 CUB200-2011에서 Recall@1이 69.5, CARS196에서 72.3을 기록하여 ImageNet 전문 모델보다 20个百分点 이상 높은 성능을 달성한다.
• CUB200-2011, CARS196, In-shop 데이터셋을 통합한 경우, 유니버설 모델은 각각 Recall@1이 63.0, 80.1, 85.4를 기록하여 개별 전문 모델의 성능을 그대로 재현한다.
• Ours_SND 버전은 ImageNet 통합 설정에서 Ours_RKD를 초월하여 CARS196에서 72.3 Recall@1, CUB200-2011에서 69.5 Recall@1을 기록하여 거리 수축 문제를 더 잘 다루는 것으로 나타났다.
• 정복을 통한 훈련으로 얻은 유니버설 모델은 계산량이 증가함에도 불구하고, 연결 기반 기준 모델과 엔드 투 엔드 트리플릿 훈련을 통한 결과보다 높은 성능을 기록했다.
• 다양한 도메인 훈련에서 조기 과적합을 효과적으로 완화했으며, 훈련 중 모든 데이터셋에서 안정적인 성능 곡선을 보였다.
• 멀티-유사도 기반 전문 모델에서의 성공적인 정복을 통해, 다양한 전문 모델 훈련 방법에 일반화됨을 입증했다.