[논문 리뷰] Cross-Batch Memory for Embedding Learning

Xun Wang, Haozhi Zhang외 2명|arXiv (Cornell University)|2019. 12. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 12인용 수 14

한 줄 요약

이 논문은 심층 거리 학습에서 과거 미니배치의 임베딩을 저장하고 동적으로 업데이트하는 메모리 보강 메커니즘인 크로스배치 메모리(XBM)를 제안한다. 이는 미니배치를 초월한 하드 네거티브 샘플의 채굴을 가능하게 한다. '천천히 이동하는' 현상—학습 과정에서 임베딩이 점진적으로 변화하는 것—을 활용하여 간단한 대비 손실 함수가 최신 기술 성능을 달성할 수 있도록 한다. 이로 인해 0.2 GB의 추가 GPU 메모리만으로도 대규모 이미지 검색 데이터셋에서 R@1을 12%에서 22.5%까지 향상시킬 수 있다.

ABSTRACT

Mining informative negative instances are of central importance to deep metric learning (DML), however this task is intrinsically limited by mini-batch training, where only a mini-batch of instances is accessible at each iteration. In this paper, we identify a "slow drift" phenomena by observing that the embedding features drift exceptionally slow even as the model parameters are updating throughout the training process. This suggests that the features of instances computed at preceding iterations can be used to considerably approximate their features extracted by the current model. We propose a cross-batch memory (XBM) mechanism that memorizes the embeddings of past iterations, allowing the model to collect sufficient hard negative pairs across multiple mini-batches - even over the whole dataset. Our XBM can be directly integrated into a general pair-based DML framework, where the XBM augmented DML can boost performance considerably. In particular, without bells and whistles, a simple contrastive loss with our XBM can have large R@1 improvements of 12%-22.5% on three large-scale image retrieval datasets, surpassing the most sophisticated state-of-the-art methods, by a large margin. Our XBM is conceptually simple, easy to implement - using several lines of codes, and is memory efficient - with a negligible 0.2 GB extra GPU memory. Code is available at: https://github.com/MalongTech/research-xbm.

연구 동기 및 목표

• 미니배치 크기에 제한을 받는 쌍 기반 심층 거리 학습의 근본적 한계를 해결하기 위해.
• 학습 과정에서 특성가 둥근 특성 이동 현상으로 인해 과거의 임베딩이 현재의 임베딩을 잘 근사할 수 있는지 조사하기 위해.
• 계산 비용을 증가시키지 않고도 여러 개의 미니배치를 넘어서 유의미한 네거티브 쌍을 채굴할 수 있는 메모리 메커니즘을 개발하기 위해.
• 간단한 손실 함수인 대비 손실에 XBM를 통합함으로써 복잡한 최신 기술 방법을 뛰어넘을 수 있는지 증명하기 위해.
• 기존의 쌍 기반 DML 프레임워크와 호환되는 메모리 효율적이고 즉시 사용 가능한 솔루션을 제공하기 위해.

제안 방법

• 최근의 미니배치에서의 임베딩을 간단한 enqueue-dequeue 메커니즘을 사용해 저장하는 크로스배치 메모리(XBM) 모듈을 제안한다.
• '천천히 이동하는' 현상을 활용: 과거의 임베딩은 현재 모델의 특성과 매우 유사하므로 재계산 없이도 근사가 가능하다.
• 현재의 앵커를 저장된 과거의 임베딩과 연결하여 손실 계산을 수행함으로써, 어떤 쌍 기반 DML 프레임워크에도 XBM를 통합한다.
• 추가적인 추론 비용 없이 순방향 전파 중에 계산된 특징을 사용해 메모리 버퍼를 업데이트함으로써 계산 효율성을 확보한다.
• 고정된 크기의 버퍼를 사용해 가장 최근의 임베딩만 유지함으로써, 추가 GPU 메모리 약 0.2 GB로 메모리 효율성을 확보한다.
• 각 앵커가 메모리에서 온 인라인 배치 및 크로스배치 네거티브 샘플과 비교되는 XBM 보강 손실을 학습 중에 적용한다.

실험 결과

연구 질문

• RQ1 학습의 이전 단계에서 생성된 과거의 임베딩이 천천히 이동하는 특성 이동 현상 덕분에 현재의 임베딩을 효과적으로 근사할 수 있는가?
• RQ2 쌍 기반 심층 거리 학습에서 크로스배치 하드 네거티브 채굴이 성능 향상에 얼마나 기여하는가?
• RQ3 XBM를 갖춘 단순한 대비 손실이 MS 손실이나 FastAP와 같은 복잡한 최신 기술 방법을 뛰어넘을 수 있는가?
• RQ4 XBM는 다양한 백본 네트워크와 데이터셋에서 이미지 검색 작업에서 어떻게 성능을 발휘하는가?
• RQ5 실제로 크로스배치 메모리를 유지하는 데 드는 메모리 및 계산 비용은 어느 정도인가?

주요 결과

• SOP, In-shop, VehicleID와 같은 세 개의 대규모 이미지 검색 데이터셋에서 XBM는 기준 대비 손실 함수를 기반으로 R@1을 12%에서 22.5%까지 향상시켰다.
• XBM를 적용한 단순한 대비 손실은 MS 손실 [37], FastAP [2], MIC [26]와 같은 최신 기술 방법을 크게 앞서는 성능을 기록했다.
• SOP 데이터셋에서 XBM를 사용한 ResNet50는 R@1이 80.6%를 기록했으며, 이는 이전 최고 성능인 MS 손실의 78.2%와 MIC의 77.2%를 초월한다.
• In-shop 데이터셋에서 XBM를 사용한 ResNet50는 R@1이 91.3%에 도달했으며, 이는 이전 최고 성능인 FastAP의 90.9%를 뛰어넘었다.
• VehicleID에서 XBM를 사용한 ResNet50는 소형 세트에서 94.7%, 중간 세트에서 93.7%, 대형 세트에서 93.0%의 R@1 성능을 기록했으며, FastAP 및 MIC를 모두 초월했다.
• XBM 메커니즘은 추가로 약 0.2 GB의 GPU 메모리만 소모하며, 기존 DML 프레임워크에 통합하기 위해 몇 줄의 코드만 추가하면 된다.