[논문 리뷰] Learning Metrics from Teachers: Compact Networks for Image Embedding

Lu Yu, Vacit Oguz Yazici외 4명|arXiv (Cornell University)|2019. 04. 07.

Face recognition and analysis참고 문헌 38인용 수 8

한 줄 요약

이 논문은 효율적인 이미지 임베딩 학습을 위해 대규모 교사 네트워크에서 소형 학생 네트워크로 지식 distillation을 제안한다. 절대 및 상대적 메트릭 distillation이라는 두 가지 새로운 손실 함수를 도입함으로써, MobileNet-0.25와 같은 소형 네트워크가 CUB-200-2011에서 Recall@1을 27.5%에서 44.6%로 크게 향상시켜 검색 성능을 향상시켰다.

ABSTRACT

Metric learning networks are used to compute image embeddings, which are widely used in many applications such as image retrieval and face recognition. In this paper, we propose to use network distillation to efficiently compute image embeddings with small networks. Network distillation has been successfully applied to improve image classification, but has hardly been explored for metric learning. To do so, we propose two new loss functions that model the communication of a deep teacher network to a small student network. We evaluate our system in several datasets, including CUB-200-2011, Cars-196, Stanford Online Products and show that embeddings computed using small student networks perform significantly better than those computed using standard networks of similar size. Results on a very compact network (MobileNet-0.25), which can be used on mobile devices, show that the proposed method can greatly improve Recall@1 results from 27.5\% to 44.6\%. Furthermore, we investigate various aspects of distillation for embeddings, including hint and attention layers, semi-supervised learning and cross quality distillation. (Code is available at https://github.com/yulu0724/EmbeddingDistillation.)

연구 동기 및 목표

• 제한된 컴퓨팅 능력과 배터리 수명을 가진 모바일 기기에서 대규모 정확도를 가진 메트릭 학습 네트워크를 구현하는 데 도전 과제를 해결하기 위해.
• 모델 크기를 늘리지 않고도 소형 학생 네트워크의 이미지 임베딩 작업 성능을 향상시키기 위해.
• 분류와는 달리 아직 탐색이 부족한 분야인 메트릭 학습을 위한 지식 distillation을 탐색하기 위해.
• 고품질 이미지 입력에서 저품질 이미지 입력으로 지식을 전이하기 위한 크로스-품질 distillation을 조사하기 위해.
• 다양한 distillation 구성 요소의 효과를 평가하기 위해, 예를 들어 힌트 레이어, 주의 히트, 준지도 학습 등.

제안 방법

• 학습 중에 학생 네트워크가 정확한 임베딩을 복제하는 대신 이미지 쌍 간의 상대적 거리 관계를 복제하도록 돕는 상대적 교사 손실을 제안한다.
• 학습된 교사의 출력 임베딩을 직접 따라가도록 유도하는 절대적 교사 손실을 도입한다.
• 교사 및 학생 네트워크 양측에서 주로 트리플릿 손실을 메트릭 학습 목표로 사용한다.
• 학습된 학생 네트워크를 지도하기 위해 절대 및 상대적 distillation 손실을 트리플릿 손실과 함께 통합한다.
• 힌트 레이어와 주의 맵을 사용하여 교사에서 학생으로 중간 특징 표현을 전달한다.
• 비지도 학습을 통해 레이블이 없는 데이터를 distillation 과정에 통합함으로써 일반화 능력을 향상시킨다.

Figure 1: Graphical illustration of the two knowledge distillation losses we propose for metric learning. $L_{KD}^{abs}$ aims to minimize the distance between the student and teacher embedding of the same image. $L_{KD}^{rel}$ compares the distance in the embedding of the teacher between two images,

실험 결과

연구 질문

• RQ1 지식 distillation이 대규모 교사 네트워크에서 소형 학생 네트워크로 메트릭 학습 능력을 효과적으로 전이할 수 있는가?
• RQ2 절대 교사(정확한 임베딩을 가르치는)보다 상대적 교사(쌍 간의 거리를 가르치는)가 메트릭 distillation에서 더 우수한 성능을 내는가?
• RQ3 교사가 고품질 이미지를 사용하는 동안 학생이 저품질 이미지를 학습할 경우 distillation의 효과는 어떠한가?
• RQ4 distillation 과정에서 레이블이 없는 데이터를 사용할 경우 임베딩 품질에 어떤 영향을 미치는가?
• RQ5 주의 또는 힌트 레이어를 사용한 distillation이 소형 네트워크 성능을 추가로 향상시킬 수 있는가?

주요 결과

• 상대적 교사 손실이 절대적 교사 손실보다 일관되게 뛰어난 성능을 보였으며, MobileNet-0.25를 사용할 경우 CUB-200-2011에서 Recall@1이 17.1% 높아졌다.
• MobileNet-0.25를 학생 네트워크로 사용할 경우, distillation 이후 Recall@1이 27.5%에서 44.6%로 상승하여 모바일 최적화 아키텍처에서 뛰어난 성능을 입증했다.
• Cars-196 데이터셋에서, 동일한 크기의 교사 없이 학습된 학생 네트워크 대비 distillation을 통해 Recall@1이 29.9% 향상되었다.
• 크로스-품질 distillation은 저해상도 및 국소화되지 않은 왜곡 설정에서 성능을 크게 향상시켰으며, 상대적 교사가 저품질 입력에서 Cars-196에서 Recall@1을 61.9%로 달성했다.
• 레이블이 없는 데이터를 활용한 준지도 학습을 통한 distillation은 성능 향상을 더욱 높였으며, 대규모 약한 레이블 데이터를 활용할 수 있는 이점을 보여주었다.
• attention 및 힌트 레이어를 사용한 distillation은 특히 도전적인 시각적 도메인에서 특징 전달을 향상시켜 성능 향상에 기여했다.

Figure 2: Illustration of difference between absolute and relative teacher. (left) Example of four data points in the embedding space of teacher. We consider two samples from two classes (indicated by square and star). (middle and right) show the absolute and relative loss for two student embeddings