[논문 리뷰] Robust and Decomposable Average Precision for Image Retrieval

Elias Ramzi, Nicolas Thome외 3명|arXiv (Cornell University)|2021. 10. 01.

Image Retrieval and Classification Techniques참고 문헌 48인용 수 8

한 줄 요약

이 논문은 이미지 검색에서 평균 정밀도(AP)를 사용한 딥 네ural 네트워크 훈련을 위한 새로운 가역적이고 분해 가능한 손실인 ROADMAP을 제안한다. 부드럽고 상한을 제공하는 순위 근사화를 도입하여 역전파의 안정성을 보장하고, 배치와 전체 데이터셋 간의 분해 가능성 갭을 줄이기 위한 校정 손실을 제안한다. 이로 인해 메모리나 계산 부담 없이도 세 가지 벤치마크 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

In image retrieval, standard evaluation metrics rely on score ranking, e.g. average precision (AP). In this paper, we introduce a method for robust and decomposable average precision (ROADMAP) addressing two major challenges for end-to-end training of deep neural networks with AP: non-differentiability and non-decomposability. Firstly, we propose a new differentiable approximation of the rank function, which provides an upper bound of the AP loss and ensures robust training. Secondly, we design a simple yet effective loss function to reduce the decomposability gap between the AP in the whole training set and its averaged batch approximation, for which we provide theoretical guarantees. Extensive experiments conducted on three image retrieval datasets show that ROADMAP outperforms several recent AP approximation methods and highlight the importance of our two contributions. Finally, using ROADMAP for training deep models yields very good performances, outperforming state-of-the-art results on the three datasets.

연구 동기 및 목표

• 이미지 검색을 위한 엔드 투 엔드 딥 러닝에서 평균 정밀도(AP)의 비가역성과 비분해 가능성 문제를 해결하기 위해.
• 진짜 AP 손실을 상한으로 올리는 대체 손실을 설계하여 훈련 중 안정적인 기울기 전파를 보장하기 위해.
• 새로운 校정 목표를 통해 배치 평균 AP와 전체 데이터셋 AP 간의 분해 가능성 갭을 줄이기 위해.
• 모든 훈련 점수를 메모리에 저장하거나 복잡한 샘플링 전략을 사용하지 않고도 효과적인 AP 최적화를 가능하게 하기 위해.
• 표준 훈련 설정을 사용하여 표준 이미지 검색 벤치마크에서 최신 기준 성능을 달성하기 위해.

제안 방법

• 진짜 AP 손실을 상한으로 올리는 새로운 부드럽고 가역적인 순위 근사화를 제안하며, 양성 및 음성 예측을 비대칭적으로 처리하여 보다 안정적인 기울기 유지를 보장한다.
• 배치 간 양성 및 음성 점수의 절대 척도를 제어하여 분해 가능성 갭을 줄이기 위해 $\mathcal{L}_{\text{calibr.}}$ 라는 校정 손실을 설계한다.
• 상한을 제공하는 대체 손실 $\mathcal{L}_{\text{SupAP}}$ 와 校정 손실을 통합하여 단일 훈련 목표 $\mathcal{L}_{\text{ROADMAP}}$ 로 통합한다.
• 이론적으로 $\mathcal{L}_{\text{calibr.}}$ 가 배치와 전체 데이터셋 간의 AP 분해 가능성 갭을 줄임을 증명한다.
• 하이퍼파라미터 $\tau$ 와 $\rho$ 를 통해 조정할 수 있는 $\mathcal{L}_{\text{SupAP}}$ 와 $\mathcal{L}_{\text{calibr.}}$ 의 하이브리드 훈련 목표를 활용한다.
• 표준 딥 러닝 프레임워크(PyTorch, Faiss, timm)와 혼합 정밀도 훈련을 사용하여 효율성과 재현 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 AP에 대한 가역적이고 상한을 제공하는 대체 손실을 설계할 수 있는가? 이는 역전파 중 안정적인 기울기 업데이트를 보장하는가?
• RQ2 간단한 校정 메커니즘을 통해 배치 평균 AP와 전체 데이터셋 AP 간의 분해 가능성 갭을 어느 정도 줄일 수 있는가?
• RQ3 제안된 ROADMAP 손실은 기존의 AP 근사화 방법보다 표준 벤치마크에서 최종 검색 성능 측면에서 뛰어나게 성능을 발휘하는가?
• RQ4 모든 훈련 임베딩을 메모리에 저장하거나 복잡한 샘플링 전략이 필요한 방법들과 비교해, 메모리나 계산 비용을 증가시키지 않고도 최신 기준 성능을 달성할 수 있는가?
• RQ5 ROADMAP의 성능는 하이퍼파라미터 $\tau$ 와 $\rho$ 에 얼마나 민감한가? 최적의 값은 무엇이며, 어떤 조합이 가장 좋은 성능을 낼 수 있는가?

주요 결과

• ROADMAP는 CUB, SOP, iNaturalist의 세 가지 표준 이미지 검색 데이터셋에서 최근의 여러 AP 근사화 방법들을 능가한다.
• CUB 데이터셋에서 배치 크기가 128일 때, ROADMAP는 mAP@R 55.8% 를 달성하여 표준 훈련 조건에서도 뛰어난 성능을 보였다.
• SOP 데이터셋에서 $\mathcal{L}_{\text{calibr.}}$ 는 분해 가능성 갭을 5.4% 감소시켰고, CUB에서는 3.7% 감소시켜, 배치 수준의 AP 근사화 향상에 효과적임을 확인했다.
• 제거 실험 결과, 상한을 제공하는 대체 손실과 校정 손실 모두 성능 향상에 기여하며, 특히 분해 가능성 향상에 있어 후자가 핵심적인 역할을 한다.
• 작은 배치 크기에서도, 모든 훈련 임베딩을 메모리에 저장하거나 복잡한 샘플링 히وري스틱을 요구하지 않아도, ROADMAP 는 최신 기준 성능을 달성한다.
• 이 방법은 계산적으로 효율적이며, 혼합 정밀도 훈련을 통해 16GB GPU 에서도 훈련이 가능하고, 공개된 코드를 통해 재현 가능하다.