[논문 리뷰] Unbiased Loss Functions for Extreme Classification With Missing Labels

Erik Schultheis, Mohammadreza Qaraei외 2명|arXiv (Cornell University)|2020. 07. 01.

Text and Document Classification Technologies참고 문헌 37인용 수 4

한 줄 요약

이 논문은 누락된 레이블과 장꼬리 레이블 불균형 문제를 보정하기 위해 극단적 다중라벨 분류(XMC)를 위한 편향 없는 손실 함수를 제안한다. 제곱 허프, 이진 교차엔트로피와 같은 일반적인 손실 함수에 대해 레이블별 가중치 요소를 유도함으로써, 표준 메트릭에서의 성능을 유지하면서도 꼬리 레이블 예측 정확도를 향상시킨다. 이로 인해 벤치마크 데이터셋에서 최대 20% 향상된 성능을 달성한다.

ABSTRACT

The goal in extreme multi-label classification (XMC) is to tag an instance with a small subset of relevant labels from an extremely large set of possible labels. In addition to the computational burden arising from large number of training instances, features and labels, problems in XMC are faced with two statistical challenges, (i) large number of 'tail-labels' -- those which occur very infrequently, and (ii) missing labels as it is virtually impossible to manually assign every relevant label to an instance. In this work, we derive an unbiased estimator for general formulation of loss functions which decompose over labels, and then infer the forms for commonly used loss functions such as hinge- and squared-hinge-loss and binary cross-entropy loss. We show that the derived unbiased estimators, in the form of appropriate weighting factors, can be easily incorporated in state-of-the-art algorithms for extreme classification, thereby scaling to datasets with hundreds of thousand labels. However, empirically, we find a slightly altered version that gives more relative weight to tail labels to perform even better. We suspect is due to the label imbalance in the dataset, which is not explicitly addressed by our theoretically derived estimator. Minimizing the proposed loss functions leads to significant improvement over existing methods (up to 20% in some cases) on benchmark datasets in XMC.

연구 동기 및 목표

• 장꼬리 레이블 분포와 학습 데이터 내 레이블 누락 문제 등 극단적 다중라벨 분류(XMC)에서 발생하는 통계적 과제를 다루기.
• 허프, 제곱 허프, 이진 교차엔트로피 손실과 같이 개별 레이블에 대해 분해 가능한 손실 함수에 대해 이론적으로 편향 없는 추정기들을 도출하기.
• 최신 XMC 알고리즘에 이러한 편향 없는 추정기를 효율적으로 통합하면서도 계산 효율성을 유지하는 실용적 방법 개발하기.
• 데이터 부족과 레이블 누락으로 인해 일반적으로 예측이 부족한 꼬리 레이블의 성능을 향상시키면서도 표준 메트릭에서의 경쟁력 있는 성능 유지하기.

제안 방법

• 관측된 특징이 주어진 조건에서 진짜 레이블과 독립적이라는 가정 하에, 누락 레이블 메커니즘을 적합도 점수로 모델링하여 일반적인 레이블 분해 가능한 손실 함수에 대해 편향 없는 추정기 도출하기.
• 역 적합도 점수를 사용해 원래의 손실 함수를 가중치 형태로 변환하여 누락된 레이블에 의한 편향을 보정하고, 관측된 데이터에서의 기대 손실이 진짜 기대 손실과 일치하도록 보장하기.
• 일반적으로 선형 SVM 및 로지스틱 회귀 기반 XMC 모델에서 사용되는 제곱 허프 및 이진 교차엔트로피 손실에 대해 유도된 가중치 체계 적용하기.
• 이론적으로는 레이블 불균형을 명시적으로 모델링하지 않지만, 실증적으로는 꼬리 레이블에 상대적으로 더 높은 가중치를 부여하는 수정된 가중치 체계 도입하여 성능 향상 유도하기.
• 가중치가 부여된 손실을 one-vs-rest 선형 SVM 프레임워크에 통합하여 이차 최적화를 활용한 효율적인 학습 가능하게 하기.
• 고차원이고 희소한 환경에서 흔히 발생하는 XMC 설정에서의 학습 안정성 향상과 일반화 능력 향상을 위해 l2 정규화 적용하기.

실험 결과

연구 질문

• RQ1 레이블이 임의로 누락될 경우, 극단적 다중라벨 분류에서 일반적으로 사용되는 손실 함수에 대해 편향 없는 추정기를 도출할 수 있는가?
• RQ2 이론적으로 도출된 편향 없는 손실 함수가 장꼬리 레이블 분포를 가진 실제 XMC 데이터셋에 적용되었을 때 실질적인 성능은 어떠한가?
• RQ3 적합도 모델에서 유도된 레이블별 가중치 요소를 통합함으로써, 기존 표준 기반 대비 꼬리 레이블의 예측 성능 향상이 이루어지는가?
• RQ4 제안된 방법이 꼬리 레이블 탐지 능력을 크게 향상시키면서도 정밀도 및 nDCG와 같은 표준 메트릭에서 성능을 유지하거나 향상시킬 수 있는가?
• RQ5 이론적으로 편향 없는 추정기를 기반으로 하지 않지만, 약간 수정된 가중치 체계(꼬리 레이블에 더 높은 가중치 부여)가 실질적으로 더 뛰어난 성능을 내는 이유는 무엇인가?

주요 결과

• 제안된 방법은 기존 최신 기술 대비 벤치마크 XMC 데이터셋에서 꼬리 레이블 예측에 대해 최대 20%의 상대적 성능 향상을 달성한다.
• one-vs-rest 선형 SVM 프레임워크에 편향 없는 손실과 레이블별 가중치를 통합함으로써 꼬리 레이블 예측 성능이 크게 향상되었고, 헤드 레이블 성능은 저하되지 않았다.
• 꼬리 레이블 탐지에 특화된 ProXML보다 성능이 뛰어나며, 이차 최적화와의 호환성 덕분에 거의 두 배 수준의 속도 향상을 기록했다.
• 실증 결과에 따르면, 꼬리 레이블에 상대적으로 더 높은 가중치를 부여하는 수정된 가중치 체계가 이론적으로 도출된 추정기보다 더 뛰어난 성능을 보였으며, 이는 이론적 유도 과정에서 다루지 않은 레이블 불균형이 원인일 가능성이 높다.
• 정밀도 및 nDCG와 같은 표준 메트릭에서도 경쟁적인 성능 유지를 유지함으로써, 꼬리 레이블 성능 향상이 전체 정확도에 손해를 주지 않음을 입증했다.
• 유도된 편향 없는 추정기는 허프, 제곱 허프, 이진 교차엔트로피를 포함한 레이블에 대해 분해 가능한 다양한 손실 함수에 적용 가능하므로, XMC 분야 전반에 걸쳐 넓은 적용 가능성을 지닌다.