[논문 리뷰] DiSMEC - Distributed Sparse Machines for Extreme Multi-label Classification

Rohit Babbar, Bernhard Shoelkopf|arXiv (Cornell University)|2016. 09. 08.

Text and Document Classification Technologies참고 문헌 19인용 수 33

한 줄 요약

DiSMEC는 레이블 행렬의 저질서 가정을 피하기 위해 희소성 유도를 통한 명시적 용량 제어를 갖춘 one-vs-rest 선형 분류기들을 사용하는 분산형, 희소 기계학습 프레임워크를 제안한다. 이는 FastXML보다 최대 15% 높은 정확도를 달성하면서도 모델 크기를 세 배수 감소시키고, 수십만 개의 레이블에서 이중 병렬화를 통해 수 시간 내에 학습을 가능하게 한다.

ABSTRACT

Extreme multi-label classification refers to supervised multi-label learning involving hundreds of thousands or even millions of labels. Datasets in extreme classification exhibit fit to power-law distribution, i.e. a large fraction of labels have very few positive instances in the data distribution. Most state-of-the-art approaches for extreme multi-label classification attempt to capture correlation among labels by embedding the label matrix to a low-dimensional linear sub-space. However, in the presence of power-law distributed extremely large and diverse label spaces, structural assumptions such as low rank can be easily violated. In this work, we present DiSMEC, which is a large-scale distributed framework for learning one-versus-rest linear classifiers coupled with explicit capacity control to control model size. Unlike most state-of-the-art methods, DiSMEC does not make any low rank assumptions on the label matrix. Using double layer of parallelization, DiSMEC can learn classifiers for datasets consisting hundreds of thousands labels within few hours. The explicit capacity control mechanism filters out spurious parameters which keep the model compact in size, without losing prediction accuracy. We conduct extensive empirical evaluation on publicly available real-world datasets consisting upto 670,000 labels. We compare DiSMEC with recent state-of-the-art approaches, including - SLEEC which is a leading approach for learning sparse local embeddings, and FastXML which is a tree-based approach optimizing ranking based loss function. On some of the datasets, DiSMEC can significantly boost prediction accuracies - 10% better compared to SLECC and 15% better compared to FastXML, in absolute terms.

연구 동기 및 목표

• 100,000~670,000개의 레이블을 가진 레이블 집합에서 극단적 다중 레이블 분류(XMC)의 계산, 저장, 통계적 과제를 해결한다.
• 많은 레이블이 소수의 학습 인스턴스만 가지는 힘의 법칙 분포를 가진 레이블 공간에서 저질서 임베딩 기반 방법의 한계를 극복한다.
• 저질서 가정 없이도 대규모 레이블 집합에서 효율적으로 학습하고 예측할 수 있는 확장 가능한 분산 프레임워크를 개발한다.
• 모델 크기를 명시적으로 제어하여 불필요한 파라미터를 제거하고, 정확도를 손상시키지 않은 채 컴act한 모델을 확보한다.

제안 방법

• 이중 병렬 아키텍처를 활용: 레이블 간 데이터 병렬화와 특징 블록 간 모델 병렬화를 통해 수십만 개의 레이블까지 확장한다.
• 레이블 행렬에 대한 저질서 가정 없이 분산 방식으로 학습된 one-vs-rest 선형 분류기를 사용한다.
• 하이퍼파rameter Δ를 통한 명시적 희소성 유도를 적용하여 수십억 개의 불필요한 파라미터를 제거한다.
• 이중 단계 학습 과정 도입: 먼저 배치 단위로 분류기를 학습한 후, 정확도를 유지하면서 모델 크기를 줄이기 위해 희소성 제어를 적용한다.
• 입력 특징과 모델 가중치 양쪽 모두에 희소성을 활용하여 효율적인 벡터-행렬 내적 연산을 통해 빠르고 병렬화된 예측을 가능하게 한다.
• Δ 조정을 통해 모델 크기와 예측 정확도 간의 트레이드오프를 제어하는 용량 제어 메커니즘을 도입하며, 이는 l1 및 l2 정규화 사이의 효과적 보간을 가능하게 한다.

실험 결과

연구 질문

• RQ1 레이블 행렬의 저질서 구조를 가정하지 않고도 분산형 one-vs-rest 학습 프레임워크가 최신의 임베딩 기반 및 트리 기반 XMC 방법을 능가할 수 있는가?
• RQ2 하이퍼파rameter Δ를 통한 명시적 희소성 유도가 모델 크기를 줄이면서도 극단적 다중 레이블 데이터셋의 예측 정확도를 유지하거나 향상시키는 데 얼마나 효과적인가?
• RQ3 이중 레이어 병렬화가 최대 670,000개의 레이블을 가진 데이터셋에서 학습 시간을 얼마나 줄이고 실시간 추론을 가능하게 하는가?
• RQ4 레이블 빈도의 힘의 법칙 분포가 저질서가 아닌 방법인 DiSMEC의 성능에 미치는 영향은 어떻게 다른가? 저질서 대비 방법과 비교해 볼 때 어떻게 되는가?

주요 결과

• WikiLSHTC-325K 데이터셋에서 DiSMEC는 3GB 모델 크기 제약 조건 하에 64.4%의 precision@1을 달성하여 동일 조건에서 SLEEC의 52%를 크게 앞서며 성능을 뛰어넘었다.
• 일부 데이터셋에서는 DiSMEC가 SLEEC보다 정확도를 10%포인트 향상시키고, FastXML보다 15%포인트 향상시켰다.
• WikiLSHTC-325K 데이터셋에서 이전 연구에서 보고된 870GB에서 DiSMEC는 명시적 희소성 제어를 통해 모델 크기를 단 3GB로 줄였다.
• Wikipedia-31K 데이터셋은 300개 코어에서 약 10분 내에 학습되었고, WikiLSHTC-325K는 400개 코어에서 약 6시간 내에 학습되어 이전에 수주가 걸리던 학습 시간을 수시간으로 단축시켰다.
• WikiLSHTC-325K에서 예측 속도는 1건당 3ms에 달했으며, 이는 LEML 대비 1,000배 빠르고 FastXML(0.5ms)와 유사한 수준이었으며 실시간 배포를 가능하게 했다.
• 하이퍼파rameter Δ는 모델의 컴팩트함과 정확도 간의 조정을 가능하게 했으며, Δ=0.01일 때 최적에 가까운 성능과 Δ=0일 때의 정확도 손실 최소화를 달성했다.