[논문 리뷰] A no-regret generalization of hierarchical softmax to extreme multi-label classification

Marek Wydmuch, Kalina Jasińska외 3명|arXiv (Cornell University)|2018. 10. 27.

Text and Document Classification Technologies인용 수 41

한 줄 요약

본 논문은 확률적 레이블 트리(PLTs)를 극대 다중 레이블 분류를 위한 계층적 softmax의 노-리그레트 일반화로 제시하고, 다중 레이블 설정에서 pick-one-label이 일관되지 않음을 증명하며, PLT를 기반으로 한 extremeText(XT)을 도입하고, XT가 최첨단 방법들에 비해 성능과 효율성 면에서 우수함을 보여준다.

ABSTRACT

Extreme multi-label classification (XMLC) is a problem of tagging an instance with a small subset of relevant labels chosen from an extremely large pool of possible labels. Large label spaces can be efficiently handled by organizing labels as a tree, like in the hierarchical softmax (HSM) approach commonly used for multi-class problems. In this paper, we investigate probabilistic label trees (PLTs) that have been recently devised for tackling XMLC problems. We show that PLTs are a no-regret multi-label generalization of HSM when precision@k is used as a model evaluation metric. Critically, we prove that pick-one-label heuristic - a reduction technique from multi-label to multi-class that is routinely used along with HSM - is not consistent in general. We also show that our implementation of PLTs, referred to as extremeText (XT), obtains significantly better results than HSM with the pick-one-label heuristic and XML-CNN, a deep network specifically designed for XMLC problems. Moreover, XT is competitive to many state-of-the-art approaches in terms of statistical performance, model size and prediction time which makes it amenable to deploy in an online system.

연구 동기 및 목표

• XMLC를 동기화하고 극대 라벨 공간에서 레이블의 확률 추정이 확장 가능한 정확한 필요성에 대해 제시한다.
• 확장 가능한 다중 레이블 일반화로서의 계층적 소프트맥스(HSM)에 대한 적절한 일반화를 PLTs로 제시한다.
• PLTs의 precision@k에서 제로-리그레트 성질에 대한 이론적 보장을 확립한다.
• fastText를 기반으로 한 효율적인 XT 구현을 개발한다.
• XT를 강력한 베이스라인과 경험적으로 비교하여 정확도, 모델 크기, 예측 속도 간의 우호적 trade-off를 보인다.

제안 방법

• XMLC를 주변 레이블 확률 eta_j(x)와 주요 지표로서의 precision@k를 설정한다.
• HSM에서 사용되는 pick-one-label 축소가 다중 레이블 precision@k에 대해 일반적으로 일관적이지 않음을 보인다.
• 루트 표시기를 포함하는 확장된 코드를 가진 PLTs를 도입하여 노드 분류기 독립 학습 및 예측 시의 확률 보정을 가능하게 한다.
• 이론적 경계 제시: eta_j 추정 오차는 경로별 노드 분류 오차에 의해 한정되며(Theorem 1), reg_p@k는 레이블별 오차에 의해 한정된다(Theorem 2).
• XT 구현 설명: TF-IDF 가중 특성을 가진 조밀 표현에서 온라인 학습, L2 정규화, 위상 균형 클러스터링으로 구성된 트리를 통해 균형 다-진 구조를 생성한다.
• 트리 선택(예: 허프만 vs 클러스터링) 및 통계/계산 트레이드-오프를 위한 균형화의 정당화를 설명한다.

실험 결과

연구 질문

• RQ1 PLTs가 다중 레이블 극대 분류에 대한 제로-리그레트 주변 확률 추정을 제공할 수 있는가?
• RQ2 pick-one-label 축소가 일반적으로 precision@k와 같은 일반 평가 지표 아래에서 다중 레이블 XMLC에 대해 일관된 접근 방식인가?
• RQ3 PLT 기반 접근 방식(XT)이 HSM 기반 방법 및 딥 네트(XML-CNN)과 비교하여 정확도, 모델 크기 및 속도에 어떤 차이가 있는가?
• RQ4 다양한 XMLC 데이터셋에서 견고한 XT 성능을 보장하는 실용적 가이드라인(트리 구성, 특징 표현, 정규화)은 무엇인가?

주요 결과

• PLTs는 다중 레이블 XMLC에 대한 노-리그레트 주변 확률 추정을 제공하여 pick-one-label 접근의 불일치를 해결한다.
• pick-one-label 휴리스ic은 일반적으로 precision@k에 대해 일관되지 않지만, PLTs는 강한 적합 손실하에 이론적 보장을 통해 이를 극복한다.
• XT(extremeText)는 HSM 기반 방법(fastText, Learned Tree)보다 현저히 우수하고 최첨단 XMLC 접근법과도 경쟁력이 있으며, 예측 속도는 훨씬 빠르고 모델 크기는 더 작다.
• XT는 여러 대형 벤치마크에서 거의 최첨단 수준의 precision@k를 달성하며, 일부 베이스라인(DiSMEC, PPDSparse) 대비 온라인 예측은 수 배 빠른 수준으로 가능하다.
• 트리 구조(상향식 클러스터링)와 TF-IDF 가중 표현은 XT의 성능과 데이터셋 전반의 견고성에 실질적으로 기여한다.