[논문 리뷰] Probabilistic Label Trees for Extreme Multi-label Classification

Kalina Jasinska-Kobus, Marek Wydmuch외 3명|arXiv (Cornell University)|2020. 09. 23.

Text and Document Classification Technologies참고 문헌 49인용 수 9

한 줄 요약

이 논문은 레이블 확률을 수형도 경로를 따라 노드별 분류기로 인수분해하는 계수적 레이블 수형도(PLTs)를 소개한다. PLT는 여러 지표에서 일致성을 입증하고, 나무와 분류기를 동시에 학습하는 완전한 온라인 학습을 가능하게 하며, Amazon-3M 및 WikipediaLarge-500K와 같은 대규모 데이터셋에서 최신 기술 수준의 성능을 보이는 napkinXC라는 새로운 구현체를 제안한다.

ABSTRACT

Extreme multi-label classification (XMLC) is a learning task of tagging instances with a small subset of relevant labels chosen from an extremely large pool of possible labels. Problems of this scale can be efficiently handled by organizing labels as a tree, like in hierarchical softmax used for multi-class problems. In this paper, we thoroughly investigate probabilistic label trees (PLTs) which can be treated as a generalization of hierarchical softmax for multi-label problems. We first introduce the PLT model and discuss training and inference procedures and their computational costs. Next, we prove the consistency of PLTs for a wide spectrum of performance metrics. To this end, we upperbound their regret by a function of surrogate-loss regrets of node classifiers. Furthermore, we consider a problem of training PLTs in a fully online setting, without any prior knowledge of training instances, their features, or labels. In this case, both node classifiers and the tree structure are trained online. We prove a specific equivalence between the fully online algorithm and an algorithm with a tree structure given in advance. Finally, we discuss several implementations of PLTs and introduce a new one, napkinXC, which we empirically evaluate and compare with state-of-the-art algorithms.

연구 동기 및 목표

• 레이블 집합이 수백만 개를 초과하는 극단적 다중 레이블 분류(XMLC)의 계산 및 통계적 과제를 해결한다.
• 레이블 수형도를 따라 이진 결정의 연속으로 다중 레이블 학습을 줄여 선형 이하의 복잡도를 달성하는 계층적 모델을 개발한다.
• 서블리티드 손실의 회귀를 기반으로 한 경계값의 상한을 통해 다양한 성능 지표에서 PLT의 통계적 일치성을 보장한다.
• 사전 데이터나 레이블 지식 없이도 수형도 구조와 노드 분류기를 순차적으로 학습할 수 있는 완전한 온라인 학습을 가능하게 한다.
• 확장성과 정확도를 고려한 새로운 효율적 구현체 napkinXC를 설계하고 평가한다.

제안 방법

• 레이블 수형도에서 루트에서 叶까지의 경로를 따라 조건부 레이블 확률을 체인 법칙으로 모델링하고, 공동 확률을 노드별 조건부 추정치로 인수분해한다.
• 내부 노드에서 이진 분류기를 사용해 경로 계속 여부를 결정하고, 叶 노드에서 최종 레이블 포함 여부를 예측한다.
• 노드 분류기를 서브리티드 손실(예: 제곱 힌지)을 사용해 학습하고, 수형도 구조는 온라인 학습 알고리즘을 통해 최적화한다.
• 추론 시 누적 경로 확률을 기반으로 상위-k 레이블을 효율적으로 예측하기 위해 수형도 탐색 정책을 적용한다.
• 수형도 구조와 노드 분류기를 동시에 학습하는 새로운 온라인 알고리즘을 도입하며, 특정 조건 하에서는 사전 구조화된 수형도 학습과 이론적으로 동일하다고 증명한다.
• 극단적 규모의 데이터셋에서 효율성과 확장성을 고려한 napkinXC를 구현한다.

실험 결과

연구 질문

• RQ1 서브리티드 손실 최소화의 일반적 조건 하에서, PLT가 precision@k 및 F1 점수와 같은 다양한 성능 지표에서 일치성을 입증할 수 있는가?
• RQ2 고정된 수형도를 갖는 오프라인 학습 대비, 수형도 구조와 노드 분류기를 동시에 온라인으로 학습하는 방식은 어떻게 비교되는가?
• RQ3 수형도의 깊이와 분기 수가 극단적 다중 레이블 환경에서 예측 정확도와 추론 속도에 어떤 영향을 미치는가?
• RQ4 제안된 napkinXC 구현체는 Amazon-3M 및 WikipediaLarge-500K와 같은 대규모 벤치마크에서 최신 기술 수준의 XMLC 방법 대비 어떻게 성능을 내는가?
• RQ5 온라인 학습 절차는 사전 지식 없이 스트리밍 데이터에 적응하면서도 예측 성능을 유지하는 데 얼마나 효과적인가?

주요 결과

• PLT는 통계적 일치성을 확보한다: 그들의 손실은 개별 노드 분류기의 서브리티드 손실 손실의 함수로 상한이 존재하여 최적 해로 수렴함을 보장한다.
• 수형도와 분류기를 동시에 학습하는 완전한 온라인 알고리즘은 사전 정의된 수형도를 사용한 학습과 이론적으로 동일하며, 성능 손실 없이 동적 적응이 가능하다.
• Amazon-3M 데이터셋에서 napkinXC는 동일한 학습 환경 하에 46.23%의 precision@1과 44.74%의 precision@5 성능을 기록하며 기존 방법을 초월한다.
• WikipediaLarge-500K에서는 napkinXC가 precision@1 66.77%와 precision@5 63.88%를 달성하며, 예측 시간은 1개 예측당 3ms 이하, 모델 크기는 2.5GB 이하이다.
• 수형도 깊이를 줄이거나 분기 수를 늘려도 성능에 큰 영향을 주지 않지만, 프리-리프 노드의 차수는 추론 속도와 모델 크기에 상당한 영향을 미치며, 100차 수준의 프리-리프가 최적의 성능-크기 균형을 이룬다.
• 모델는 효율적으로 확장 가능하다: Amazon-3M에서 학습은 약 5.4시간이 소요되며 모델 크기는 9.86GB이며, 예측 시간은 1개 예측당 2ms 미만으로 실세계 적용 가능성은 입증되었다.