[논문 리뷰] An end-to-end approach for the verification problem: learning the right distance

João Monteiro, Isabela Albuquerque외 3명|arXiv (Cornell University)|2020. 02. 21.

Machine Learning and Data Classification인용 수 5

한 줄 요약

이 논문은 검증 문제를 위한 인코더와 학습 가능한 가짜 거리 모델을 공동으로 훈련하는 엔드 투 엔드 프레임워크를 제안한다. 이는 두 예시가 같은 클래스에 속하는지 직접 예측할 수 있도록 한다. 이 방법은 코사인 유사도 및 후행 분류기와 같은 표준 베이스라인을 능가하며, 음성 쌍 마이닝이 필요 없어 훈련을 단순화하고, 경험적으로 유사도 비율을 근사하는 거리를 학습하며, 양성 및 음성 쌍 분포 간의 높은 분산을 유도한다.

ABSTRACT

In this contribution, we augment the metric learning setting by introducing a parametric pseudo-distance, trained jointly with the encoder. Several interpretations are thus drawn for the learned distance-like model's output. We first show it approximates a likelihood ratio which can be used for hypothesis tests, and that it further induces a large divergence across the joint distributions of pairs of examples from the same and from different classes. Evaluation is performed under the verification setting consisting of determining whether sets of examples belong to the same class, even if such classes are novel and were never presented to the model during training. Empirical evaluation shows such method defines an end-to-end approach for the verification problem, able to attain better performance than simple scorers such as those based on cosine similarity and further outperforming widely used downstream classifiers. We further observe training is much simplified under the proposed approach compared to metric learning with actual distances, requiring no complex scheme to harvest pairs of examples.

연구 동기 및 목표

• 복잡한 음성 쌍 마이닝 전략이 필요 없이 검증 작업을 위한 메트릭 학습 모델을 훈련하는 데 도전하는 것.
• 인코더와 학습 가능한 가짜 거리가 함께 최적화되는 엔드 투 엔드 훈련 가능한 프레임워크를 개발하여 검증 성능을 향상시키는 것.
• 학습된 가짜 거리가 네이만-피어슨 가설 검정을 위한 유사도 비율을 근사하며, 양성 및 음성 쌍 분포 간의 높은 분산을 유도함을 보여주는 것.
• 다중 구성 요소 시스템을 단일 전방 전파 스코어링 메커니즘으로 대체하여 검증 파이프라인을 단순화하는 것.
• 이미지넷을 포함한 대규모 오픈셋 검증 벤치마크에서 실제 조건(테스트 시에 볼 수 없는 클래스 존재) 하에서 방법을 평가하는 것.

제안 방법

• 딥 네URAL 네트워크 인코더와 학습 가능한 가짜 거리 모델을 모두 신경망으로 파arameter화하여 엔드 투 엔드 방식으로 공동으로 훈련한다.
• 가짜 거리 모델은 같은 클래스 쌍에 대해 작은 거리를, 다른 클래스 쌍에 대해 큰 거리를 유도하는 대비 추정 목표 함수를 통해 훈련된다.
• 손실 함수는 대비 추정 목표와 표준 다중 클래스 교차 엔트로피 손실을 조합하여 훈련 안정성과 일반화 성능을 향상시킨다.
• 아키텍처는 인코더에 ResNet-50 백본을 사용하고, 거리 모델에 256개 유닛의 히든 레이어를 가진 완전 연결 스택을 사용하며, 128차원 출력 임bedding을 생성한다.
• 훈련은 최소한 한 클래스당 다섯 개 이상의 예시를 포함하는 미니배치를 사용하며, 음성 쌍 가용성을 보장하고, 코사인 안내 학습률 스케줄을 사용한 확률적 경사 하강법을 적용한다.
• 추론은 학습된 가짜 거리 모델의 출력을 테스트 쌍의 유사도 스코어로 사용하는 단일 전방 전파를 통해 수행된다.

실험 결과

연구 질문

• RQ1 공동으로 훈련된 인코더와 가짜 거리 모델이 검증 작업에서 표준 메트릭 학습 베이스라인을 능가할 수 있는가?
• RQ2 학습된 가짜 거리가 네이만-피어슨 가설 검정을 위한 유사도 비율을 근사하는가?
• RQ3 명시적인 음성 쌍 마이닝 없이도 성능을 유의미하게 확보할 수 있으며, 이로써 훈련을 단순화할 수 있는가?
• RQ4 학습 중에 볼 수 없었던 테스트 클래스가 존재하는 오픈셋 검증에 모델이 일반화되는가?
• RQ5 거리 모델의 다양한 아키텍처와 하이퍼파라미터에 대해 성능이 얼마나 안정적인가?

주요 결과

• 제안된 방법은 이미지넷 검증 벤치마크에서 코사인 유사도 및 후행 분류기와 같은 기존 베이스라인 모델보다 더 높은 성능을 달성한다.
• 학습된 가짜 거리 모델은 양성 및 음성 쌍의 결합 분포 간에 높은 젠슨-쇼너 분산을 유도하며, 강력한 분류 능력을 나타낸다.
• 가짜 거리 출력은 유사도 비율을 근사하며, 네이만-피어슨 프레임워크 하에서 최적의 결정 규칙을 가능하게 한다.
• 대비 목표 함수가 자연스럽게 적절한 분리 효과를 유도하므로, 복잡한 음성 쌍 마이닝 전략이 필요 없어 훈련이 단순화된다.
• 거리 헤드에 3~4개의 완전 연결 레이어를 각각 256개 유닛으로 구성한 모델은 다양한 데이터셋에서 안정적이고 뛰어난 성능을 보이며, 새로운 응용에 대한 견고한 기초를 제공한다.
• 이 방법은 오픈셋 검증에 잘 일반화되며, 훈련 중에 볼 수 없었던 테스트 클래스가 존재하더라도 강력한 성능을 유지한다.