[논문 리뷰] PyTorch Metric Learning

Kevin Musgrave, Serge Belongie외 1명|arXiv (Cornell University)|2020. 08. 20.

Face and Expression Recognition참고 문헌 5인용 수 21

한 줄 요약

PyTorch Metric Learning는 손실, 마이너, 거리, 감소기, 정규화기, 샘플러, 트레이너, 테스터 및 후크와 같은 모듈화되고 유연한 구성 요소를 제공함으로써 딥 메트릭 러닝을 간소화하는 오픈소스 라이브러리입니다. 연구자와 실무자들이 최소한의 부가 코드로 빠르게 프로토타입을 제작하고 훈련할 수 있도록 하며, 파이토치 통합을 통해 알고리즘의 커스터마이징 조합과 엔드 투 엔드 훈련/테스트 워크플로우를 지원합니다.

ABSTRACT

Deep metric learning algorithms have a wide variety of applications, but implementing these algorithms can be tedious and time consuming. PyTorch Metric Learning is an open source library that aims to remove this barrier for both researchers and practitioners. The modular and flexible design allows users to easily try out different combinations of algorithms in their existing code. It also comes with complete train/test workflows, for users who want results fast. Code and documentation is available at https://www.github.com/KevinMusgrave/pytorch-metric-learning.

연구 동기 및 목표

• 딥 메트릭 러닝 알고리즘의 구현 부담을 줄이기 위해, 이는 종종 처음부터 코딩하기가 번거롭고 시간이 오래 걸립니다.
• 연구자들이 다양한 손실 함수, 마이너, 거리 및 정규화기를 쉽게 조합하고 실험할 수 있도록 모듈화되고 확장 가능한 라이브러리를 제공하기 위해.
• 최소한의 설정으로 완전한 훈련/테스트 워크플로우를 제공하여 메트릭 러닝 모델의 빠른 프로토타입 제작과 배포를 가능하게 하기 위해.
• 훈련 효율성을 향상시키기 위해 온라인 마이닝(배치 내 튜플 선택)과 오프라인 샘플링(배치 구성) 전략을 모두 지원하기 위해.
• 군집화와 k-NN 메트릭을 기반으로 한 사용자 정의 정확도 계산기와 함께 내장된 테스터를 통해 정확한 평가를 촉진하기 위해.

제안 방법

• 손실, 마이너, 거리, 감소기, 정규화기, 샘플러, 트레이너 및 테스터와 같은 핵심 구성 요소를 독립적 또는 함께 사용할 수 있는 모듈화되고 조합 가능한 클래스로 구성합니다.
• 손실 함수는 임bedding과 레이블을 입력으로 받으며, 거리 객체(예: L2, 코사인 유사도, SNR)에 의해 계산된 거리 행렬을 사용하고, 튜플 인덱스를 통한 온라인 마이닝을 지원합니다.
• 감소기는 요소별, 쌍별 또는 트리플릿 별 손실을 처리하고, 구성 가능한 감소 전략(예: 임계값 설정, 평균 계산)을 적용하여 최종 손실을 계산합니다.
• 정규화기는 선택적 매개변수(예: embedding_regularizer)를 통해 적용되며, 임bedding 또는 가중치 노름을 페널티로 적용할 수 있으며, 구성 가능한 손실 가중치를 제공합니다.
• 온라인 마이너(예: MultiSimilarityMiner)는 배치 내에서 어려운 양성/음성 쌍 또는 트리플릿을 식별하고, 이들의 인덱스를 손실 함수로 전달하여 집중적인 훈련을 가능하게 합니다.
• 라이브러리는 자동 튜플 변환을 지원합니다: 쌍을 트리플릿으로, 트리플릿을 쌍으로, 임bedding을 분류 설정에서 가중 손실로 변환합니다.

실험 결과

연구 질문

• RQ1 딥 메트릭 러닝은 연구자와 실무자에게 더 접근 가능하고 조합 가능한 방식으로 어떻게 개선될 수 있는가?
• RQ2 파이토치 기반 프레임워크에서 손실, 마이너, 거리 및 정규화기를 민첩하게 조합할 수 있는 모듈화된 설계 패턴은 무엇인가?
• RQ3 사용자 맞춤 설정을 희생시키지 않고도 엔드 투 엔드 훈련 및 평가 워크플로우는 어떻게 단순화될 수 있는가?
• RQ4 통합 인터페이스를 통해 하나의 라이브러리 안에서 온라인 마이닝과 오프라인 샘플링 전략을 모두 지원할 수 있는가?
• RQ5 훈련에서 평가를 분리하면서도 사용자 정의 정확도 메트릭을 어떻게 지원할 수 있는가?

주요 결과

• 라이브러리는 핵심 구성 요소를 재사용 가능하고 교환 가능한 모듈로 분리함으로써 메트릭 러닝 모델의 빠른 프로토타입 제작을 가능하게 합니다.
• 사용자는 손실 논리의 수정 없이도 어떤 손실 함수 내에서 L2, 코사인 유사도, SNR 등의 거리 메트릭을 쉽게 교체할 수 있습니다.
• ThresholdReducer와 같은 감소기는 낮고 높은 값의 손실을 필터링하여 선택적 손실 감소를 가능하게 하여 훈련의 안정성을 향상시킵니다.
• MultiSimilarityMiner와 같은 온라인 마이너를 손실 함수와 통합함으로써 훈련 루프 내에서 효율적인 하드 음성 마이닝이 가능해집니다.
• AccuracyCalculator 클래스는 k-NN과 군집화를 사용하여 Precision@1, R-Precision, MAP@R, AMI, NMI와 같은 표준 메트릭을 내장된 방식으로 계산합니다.
• AccuracyCalculator를 상속하여 사용자 정의 정확도 메트릭을 추가할 수 있으며, 군집화 및 추론용 훅을 제공함으로써 부가 코드 없이도 확장 가능성을 확보합니다.