[논문 리뷰] Stochastic Negative Mining for Learning with Large Output Spaces

Sashank J. Reddi, Satyen Kale외 4명|arXiv (Cornell University)|2018. 10. 16.

Imbalanced Data Classification Techniques인용 수 27

한 줄 요약

이 논문은 대규모 출력 공간 검색 작업에서 세트 값 분류기를 훈련하기 위한 통계적으로 타당하고 확장 가능한 방법인 Stochastic Negative Mining (SNM)을 제안한다. Ordered Weighted Losses (OWLs)를 도입함으로써 캘리브레이션되고 볼록한 손실 함수를 설계하여, 전체 부정 예측 중에서 일부만 샘플링함으로써 상위-k 관련성의 효율적 최적화를 달성한다. 이는 Amazon670K 및 WikiLSHTC와 같은 대규모 데이터셋에서 표준 부정 샘플링 대비 재현율과 정밀도 측면에서 뚜렷한 성능 향상을 보인다.

ABSTRACT

We consider the problem of retrieving the most relevant labels for a given input when the size of the output space is very large. Retrieval methods are modeled as set-valued classifiers which output a small set of classes for each input, and a mistake is made if the label is not in the output set. Despite its practical importance, a statistically principled, yet practical solution to this problem is largely missing. To this end, we first define a family of surrogate losses and show that they are calibrated and convex under certain conditions on the loss parameters and data distribution, thereby establishing a statistical and analytical basis for using these losses. Furthermore, we identify a particularly intuitive class of loss functions in the aforementioned family and show that they are amenable to practical implementation in the large output space setting (i.e. computation is possible without evaluating scores of all labels) by developing a technique called Stochastic Negative Mining. We also provide generalization error bounds for the losses in the family. Finally, we conduct experiments which demonstrate that Stochastic Negative Mining yields benefits over commonly used negative sampling approaches.

연구 동기 및 목표

• 대규모 출력 공간을 가진 검색 작업에 대해 통계적으로 타당하고 확장 가능한 훈련 방법의 부족을 해결하기 위해.
• 베이즈 최적 예측자로 수렴할 수 있도록 캘리브레이션되고 볼록한 서브티튜트 손실 함수의 가족을 개발하기 위해.
• 모든 레이블을 평가하지 않고도 고차원 출력 공간에서 이러한 손실 함수를 실용적으로 최적화할 수 있도록 하기 위해.
• 손실 함수의 하이퍼파ram터 선택을 안내하는 일반화 오차 경계를 제공하기 위해.
• SNM이 표준 부정 샘플링 대비 검색 성능에서 뛰어나다는 것을 경험적으로 검증하기 위해.

제안 방법

• 데이터 및 손실 매개변수에 대한 약한 조건 하에서 캘리브레이션되고 볼록한 손실 함수의 가족인 Ordered Weighted Losses (OWLs)를 도입한다.
• 모든 레이블의 점수를 계산하지 않기 위해 소수의 클래스를 샘플링하고, 상위-k 점수를 가진 것을 부정으로 간주하는 Stochastic Negative Mining (SNM) 기법을 제안한다.
• 샘플 내에서 가장 높은 점수를 가진 비긍정 클래스를 하드 부정으로 간주하는 top-k SNM 변형을 사용하여 모델의 강건성을 향상시킨다.
• Rademacher 및 가우시안 복잡도를 사용하여 OWLs의 일반화 오차 경계를 유도함으로써, 손실 매개변수 선택에 대한 이론적 안내를 제공한다.
• 임bedding 레이어에는 큰 학습률을 사용한 확률적 경사 하강법과 선형 레이어에는 모멘텀을 사용한 훈련을 수행한다.
• 히ン지 손실을 사용한 BOWL (Binary-Weighted Loss) 설정 하에서 방법을 적용하여, 다양한 데이터셋에서 일관된 성능 향상을 입증한다.

실험 결과

연구 질문

• RQ1 대규모 출력 검색에 적합한 통계적으로 캘리브레이션되고 볼록한 서브티튜트 손실 함수의 가족을 설계할 수 있는가?
• RQ2 모든 가능한 출력 클래스의 점수를 평가하지 않고도 이러한 손실 함수를 실용적으로 최적화할 수 있는가?
• RQ3 Stochastic Negative Mining이 표준 부정 샘플링 대비 더 나은 일반화 및 검색 성능을 제공하는가?
• RQ4 OWLs의 일반화 오차 경계는 실무에서 손실 매개변수 선택에 어떻게 기여하는가?
• RQ5 SNM은 딥 러닝 모델과 조합하여 대규모 다중 레이블 및 다중 클래스 검색 작업의 성능 향상에 기여할 수 있는가?

주요 결과

• k=1인 상위-k Stochastic Negative Mining (SNM)이 모든 데이터셋에서 최고의 성능을 기록하며, 표준 부정 샘플링 대비 뚜렷한 성능 향상을 보였다.
• Amazon670K에서 SNM는 P@3가 40.37로 표준 샘플링 대비 2.5% 향상되었고, P@5는 36.92로 재현율 향상이 뚜렷했다.
• SNM는 추가적인 계산 비용 없이도 부정 샘플링 대비 정밀도@k를 최대 1.3배까지 향상시켰으며, 오히려 약간 더 효율적인 성능도 기록했다.
• SLEEC 및 LEML과 같은 다른 임베딩 기반 모델보다 우수했고, PfastreXML 및 DiSMEC와 같은 더 복잡한 모델들과도 경쟁 가능했다.
• OWLs의 일반화 오차 경계가 유도되었으며, 이는 실무에서 손실 매개변수 선택에 대한 이론적 근거를 제공한다.
• 경험적 결과는 SNM가 단순한 신경망 아키텍처에서도 효과적이라는 것을 확인했으며, 더 고급 모델과 조합할 경우 잠재력이 매우 높다는 것을 시사한다.