[논문 리뷰] DarkRank: Accelerating Deep Metric Learning via Cross Sample Similarities Transfer

Yuntao Chen, Naiyan Wang외 1명|arXiv (Cornell University)|2017. 07. 05.

Video Surveillance and Tracking Methods참고 문헌 36인용 수 21

한 줄 요약

DarkRank는 사전에 학습된 딥 메트릭 학습 교사 네트워크에서 학습된 교차 샘플 유사도를 더 작은 학생 네트워크에 지식으로 전달하여 압축하고 가속화하는 방법을 제안한다. 이러한 유사도 전달을 리스트와이즈 학습-랭킹 문제로 공식화함으로써, 재식별, 검색, 클러스터링과 같은 메트릭 학습 작업 전반에서 학생 네트워크 성능을 크게 향상시킨다. 정확도 손실이 최소화된 상태에서 최대 3배의 추론 속도 향상을 달성한다.

ABSTRACT

We have witnessed rapid evolution of deep neural network architecture design in the past years. These latest progresses greatly facilitate the developments in various areas such as computer vision and natural language processing. However, along with the extraordinary performance, these state-of-the-art models also bring in expensive computational cost. Directly deploying these models into applications with real-time requirement is still infeasible. Recently, Hinton etal. have shown that the dark knowledge within a powerful teacher model can significantly help the training of a smaller and faster student network. These knowledge are vastly beneficial to improve the generalization ability of the student model. Inspired by their work, we introduce a new type of knowledge -- cross sample similarities for model compression and acceleration. This knowledge can be naturally derived from deep metric learning model. To transfer them, we bring the "learning to rank" technique into deep metric learning formulation. We test our proposed DarkRank method on various metric learning tasks including pedestrian re-identification, image retrieval and image clustering. The results are quite encouraging. Our method can improve over the baseline method by a large margin. Moreover, it is fully compatible with other existing methods. When combined, the performance can be further boosted.

연구 동기 및 목표

• 자율주행과 같은 지연 민감한 응용 분야에서 최신 딥 메트릭 학습 모델의 높은 계산 비용 문제를 해결하기 위해.
• 기존 지식 정련 방법이 샘플 당 로그릿 또는 특징과 같은 내부 인스턴스 지식 전만을 다루는 한계를 극복하기 위해.
• 교차 샘플 유사도와 같은 상호 샘플 관계를 새로운 형태의 지식으로 활용하여 모델 압축과 가속화를 위해.
• 기존 지식 정련 및 모델 압축 기법과 완전히 호환되는 방법을 개발하여 성능 향상을 통합적으로 달성하기 위해.
• 클래스 수준의 지도 신호가 없는 환경에서도 효과적인 지식 전달을 가능하게 하기 위해, 특히 지도 학습 및 자기지도 학습 메트릭 학습 설정에서의 적용 가능성을 확보하기 위해.

제안 방법

• 사전에 학습된 교사 네트워크의 임bedding 공간에서 유도된 교차 샘플 유사도를 새로운 형태의 지식으로 도입한다.
• 교사와 학생 네트워크 간의 이러한 유사도 전달을 리스트와이즈 학습-랭킹 문제로 공식화한다.
• 기존의 리스트와이즈 랭킹 손실을 수정하여 학생의 임베딩 공간에서의 샘플 쌍 상대 순서를 교사의 것과 일치시킨다.
• 표준 분류 손실, 콘트라스트 손실, 트리플릿 손실 및 제안된 유사도 전달 손실을 조합하여 학생 네트워크를 훈련시킨다.
• 기존 정련 방법과의 호환성을 확보하기 위해, 예를 들어 특징에 대한 FitNet 스타일 L2 손실과 같은 내부 인스턴스 지식 전달과 함께 훈련이 가능하도록 한다.
• 특수한 아키텍처 재설계 없이도, 예를 들어 NIN-BN, Inception-BN 등의 표준 네트워크 아키텍처를 학생 및 교사 모델로 사용한다.

실험 결과

연구 질문

• RQ1 교사 네트워크의 임베딩 공간에서의 교차 샘플 유사도가 딥 메트릭 학습에서 더 작은 학생 네트워크를 정련하는 데 효과적인 지식이 될 수 있는가?
• RQ2 교차 샘플 유사도 지식을 어떻게 효과적으로 학생 모델로 전달할 수 있으며, 이는 후속 메트릭 학습 성능 향상에 어떻게 기여하는가?
• RQ3 제안된 유사도 전달 방법이 재식별, 이미지 검색, 클러스터링과 같은 다양한 메트릭 학습 작업에 일반화되는가?
• RQ4 이러한 지식 전달 방식을 사용할 경우 학생 모델이 성능을 유지하면서 얼마나 높은 속도 향상을 달성할 수 있는가?
• RQ5 기존의 내부 인스턴스 지식 정련 기법과 결합할 경우, 교사와 학생 모델 간의 성능 격차를 더 줄일 수 있는가?

주요 결과

• DarkRank는 보행자 재식별(Market1501: 86.7% Rank-1, CUHK03: 88.7% Rank-1)에서 기준 방법을 뛰어넘는 학생 모델 성능 향상을 보였다.
• CUB-200-2011 데이터셋에서 DarkRank는 F1: 0.168, NMI: 0.483, Recall@1: 0.340을 달성하여 학생 기준선(0.153 F1, 0.461 NMI, 0.311 Recall@1)을 능가했다.
• Pascal Titan X에서 최대 2.96배의 속도 향상(초당 526장 대비 178장)을 기록했으며, 교사 모델 대비 정확도 손실은 미미했다.
• FitNet(내부 인스턴스 특징 정련)과 결합했을 때 성능 향상이 두드러지게 나타나, 서로 보완적인 지식 전달이 가능함을 입증했다.
• 지도 학습 및 자기지도 학습 설정 모두에서 효과적이었으며, 이는 클래스 수준의 레이블이 아닌 인스턴스 수준의 유사도 신호에 의존하기 때문이다.
• DarkRank로만 훈련된 학생 네트워크가 일부 지표에서 교사 네트워크를 능가하거나 동등한 성능을 기록했다(예: CUB-200-2011에서 F1: 0.172 대비 0.168), 이는 강력한 지식 전달 능력을 시사한다.