[논문 리뷰] Adversarial Extreme Multi-label Classification

Rohit Babbar, Bernhard Schoelkopf|arXiv (Cornell University)|2018. 03. 05.

Machine Learning and Algorithms참고 문헌 29인용 수 12

한 줄 요약

이 논문은 극단적 다중라벨 분류(XMC)를 위한 강건한 최적화 프레임워크를 제안하며, 라벨 분포 이탈을 적대적 편향으로 모델링함으로써 히ammer 손실을 갖는 1-노름 정규화 목적함수로의 등가 변환을 이룬다. 이 방법은 PFastreXML 대비 최대 20%의 상대적 향상과 SLEEC 대비 60%의 상대적 향상을 precision@k 및 nDCG@k 지표에서 달성하며, 보조 분류기나 성향 추정이 필요 없이 최신 기술을 초월한다.

ABSTRACT

The goal in extreme multi-label classification is to learn a classifier which can assign a small subset of relevant labels to an instance from an extremely large set of target labels. Datasets in extreme classification exhibit a long tail of labels which have small number of positive training instances. In this work, we pose the learning task in extreme classification with large number of tail-labels as learning in the presence of adversarial perturbations. This view motivates a robust optimization framework and equivalence to a corresponding regularized objective. Under the proposed robustness framework, we demonstrate efficacy of Hamming loss for tail-label detection in extreme classification. The equivalent regularized objective, in combination with proximal gradient based optimization, performs better than state-of-the-art methods on propensity scored versions of precision@k and nDCG@k(upto 20% relative improvement over PFastreXML - a leading tree-based approach and 60% relative improvement over SLEEC - a leading label-embedding approach). Furthermore, we also highlight the sub-optimality of a sparse solver in a widely used package for large-scale linear classification, which is interesting in its own right. We also investigate the spectral properties of label graphs for providing novel insights towards understanding the conditions governing the performance of Hamming loss based one-vs-rest scheme vis-à-vis label embedding methods.

연구 동기 및 목표

• 대부분의 라벨가 적은 양의 양성 학습 인스턴스를 가지는 극단적 다중라벨 분류(XMC)에서 꼬리 라벨 탐지 성능이 열 劣한 문제를 해결하기 위해.
• 긴 꼬리 라벨 분포를 갖는 XMC를 적대적 편향 하에서의 강건 최적화 문제로 재정의하기 위해.
• 적대적 강건성에 의해 정규화된 히ammer 손실이 꼬리 라벨 탐지에 매우 효과적임을 입증하기 위해.
• 1-vs-rest 기법이 XMC에서 라벨 임bedding 방법보다 성능이 뛰어나는 이유에 대한 이론적 및 실증적 통찰을 제공하기 위해.
• 광범위하게 사용되는 대규모 선형 분류 솔버에서 발생하는 비최적 동작을 식별하고 수정하기 위해.

제안 방법

• 학습 및 테스트 세트 간의 특징 분포 이탈을 l∞-노름 내의 적대적 편향으로 모델링하여 XMC를 강건 최적화 문제로 공식화한다.
• 이중성에 기반해 적대적 강건성과 L1 정규화를 연결하는 등가 1-노름 정규화 목적함수를 유도한다.
• 히ammer 손실을 갖는 정규화 목적함수를 효율적으로 최적화하기 위해 분산형 전진-후진 프록시미티 그래디언트 알고리즘을 설계한다.
• 적대적 강건성과 L1 정규화의 등가성을 활용해 저빈도 꼬리 라벨에서의 일반화 성능을 향상시킨다.
• 보조 재랭킹기나 성향 스코어링이 필요 없이 확장 가능하고 단일 하이퍼파ram터만을 갖는 방법을 구현한다.

실험 결과

연구 질문

• RQ1 적대적 강건성을 활용하여 극단적 다중라벨 분류에서 꼬리 라벨 탐지 성능을 향상시킬 수 있는가?
• RQ2 왜 L1 정규화가 적용된 히ammer 손실이 XMC에서 최신 기술인 트리 기반 및 라벨 임베딩 방법보다 뛰어나게 작용하는가?
• RQ3 1-vs-rest와 라벨 임베딩 방법의 성능에 영향을 주는 라벨 그래프의 스펙트럼적 및 구조적 특성은 무엇인가?
• RQ4 제안된 강건 최적화 프레임워크는 일반화 및 모델 효율성 측면에서 기존 방법과 비교해 어떻게 다른가?
• RQ5 광범위하게 사용되는 대규모 선형 분류 패키지의 희소 솔버가 XMC에 있어서 왜 비최적적인가?

주요 결과

• 제안된 방법은 nDCG@k 및 precision@k 지표에서 PFastreXML 대비 최대 20% 상대적 향상과 SLEEC 대비 최대 60% 상대적 향상을 달성한다.
• 적대적 강건성에 의해 정규화된 히ammer 손실은 꼬리 라벨 탐지에 매우 효과적이며, 이는 이전에 이러한 작업에 부적합하다고 여겨졌던 가정을 뒤집는 결과이다.
• 이 방법은 별도의 Rocchio 기반 재랭킹기 없이 PFastreXML를 초월하며, 이는 핵심 종속성과 복잡성을 제거한다.
• 모델 크기는 상당히 작으며, WikiLSHTC-325K 기준 약 3GB로, PFastreXML의 30GB에 비해 실시간 시스템에서 더 빠른 추론을 가능하게 한다.
• 이 연구는 광범위하게 사용되는 희소 선형 솔버에서 발생하는 비최적 동작을 식별하고 수정하며, 이들이 대규모 XMC 환경에서 비효율적임을 드러낸다.
• 라벨 그래프의 스펙트럼 분석을 통해 1-vs-rest 기법이 라벨 임베딩 방법보다 성능이 뛰어나지 않는 조건을 규명한다.