[논문 리뷰] HAXMLNet: Hierarchical Attention Network for Extreme Multi-Label Text Classification

Ronghui You, Zihan Zhang외 2명|arXiv (Cornell University)|2019. 03. 24.

Text and Document Classification Technologies참고 문헌 8인용 수 7

한 줄 요약

HAXMLNet는 극단적인 다중 레이블 텍스트 분류를 위한 계층적 어텐션 네트워크를 제안하며, 수십만 개의 레이블을 가진 데이터셋에서도 효율적인 학습과 추론을 가능하게 하기 위해 확률적 레이블 트리(PLT)를 활용한다. 그룹 수준 및 레이블 수준 분류기 내에서 레이블 별 어텐션을 적용함으로써 HAXMLNet은 경쟁력 있는 성능을 달성했으며, Wiki-500K에서 최신 기술을 초월하고 Amazon-670K에서 최상의 성능을 기록했다.

ABSTRACT

Extreme multi-label text classification (XMTC) addresses the problem of tagging each text with the most relevant labels from an extreme-scale label set. Traditional methods use bag-of-words (BOW) representations without context information as their features. The state-ot-the-art deep learning-based method, AttentionXML, which uses a recurrent neural network (RNN) and the multi-label attention, can hardly deal with extreme-scale (hundreds of thousands labels) problem. To address this, we propose our HAXMLNet, which uses an efficient and effective hierarchical structure with the multi-label attention. Experimental results show that HAXMLNet reaches a competitive performance with other state-of-the-art methods.

연구 동기 및 목표

• 수십만 개의 레이블을 가진 극단적인 다중 레이블 텍스트 분류(XMTC)에서 AttentionXML과 같은 기존 딥러닝 방법의 확장성 한계를 해결하기 위해.
• 레이블 별 어텐션을 유지하면서도 학습 및 추론 시 계산 복잡도와 모델 크기를 줄이기 위해.
• 확률적 레이블 트리(PLT) 기반의 계층적 구조를 도입하여 초대규모 레이블 세트를 효율적으로 처리하기 위해.
• 레이블 희소성과 고차원성에도 불구하고 Amazon-670K 및 Wiki-500K와 같은 벤치마크 데이터셋에서 경쟁적인 성능을 유지하기 위해.
• 그룹 수준 모델이 여전히 계산 비용이 높을 경우 반복적으로 적용 가능한 재귀적 프레임워크를 제공하기 위해.

제안 방법

• HAXMLNet는 루트 노드, 그룹 레이블, 개별 레이블를 포함하는 3단계의 계층적 확률적 레이블 트리(PLT)를 구축하며, 균형 잡힌 그룹 크기를 확보하기 위해 상향식 k-means 클러스터링을 사용한다.
• 그룹 수준 분류기(HAXMLNet-G)는 레이블 공간을 |L|/g로 줄이기 위해 오직 그룹 레이블을 타겟으로 사용하여 학습한다. 여기서 g는 그룹 수이다.
• 레이블 수준 분류기(HAXMLNet-L)는 후보 레이블—양성 원본 레이블과 일부 음성 레이블—을 사용하여 학습하며, 각 샘플당 후보 수를 1,000개 이내로 제한하여 복잡도를 제어한다.
• 예측 시, 각 레이블 j에 대한 최종 점수는 G(j)의 그룹 수준 점수와 j의 레이블 수준 점수의 곱으로 계산되며, 이는 확률의 연쇄 법칙을 따른다.
• 모델은 레이블 별 어텐션을 활용하며, 어텐션 파라미터 w_j를 사용하여 문맥 표현 h_i에 대해 소프트맥스를 적용해 각 레이블에 대한 관련 텍스트 부분에 집중하는 어텐션 가중치 α_ij를 계산한다.
• HAXMLNet-L의 학습 손실은 후보 레이블에 대한 이진 교차 엔트로피 손실이며, 조건부 확률은 PLT 구조에서 유도된다.

실험 결과

연구 질문

• RQ1 50만 개 이상의 레이블을 가진 극단적인 다중 레이블 텍스트 분류에서 계층적 어텐션 메커니즘이 딥러닝 모델의 확장성에 효과적으로 기여할 수 있는가?
• RQ2 확률적 레이블 트리(PLT)의 사용이 XMTC에서 계산 복잡도를 줄이면서도 예측 성능를 유지하는 데 얼마나 기여하는가?
• RQ3 고차원 데이터셋에서 평면형 어텐션 메커니즘에 비해 계층적 구조 내에서 레이블 별 어텐션을 적용할 경우 성능 향상 정도는 어느 정도인가?
• RQ4 그룹 수준 모델이 여전히 너무 크면 계층적 프레임워크의 반복적 적용이 모델 복잡도를 추가로 줄일 수 있는가?
• RQ5 기존 최고 수준의 방법들인 Parabel과 DiSMEC에 비해 HAXMLNet은 표준 XMTC 벤치마크에서 성능적으로 어떻게 비교되는가?

주요 결과

• Wiki-500K 데이터셋에서 HAXMLNet는 비교된 모든 방법들 중 가장 높은 성능을 기록했으며, Precision@1은 70.44%, nDCG@5는 60.80%였다.
• Amazon-670K에서 HAXMLNet는 Precision@1 41.09%와 nDCG@5 36.64%를 기록했으며, PfastreXML과 AnnexML를 초월했고, 고도의 레이블 희소성에도 불구하고 경쟁적인 성능를 보였다.
• HAXMLNet는 단일 계층적 트리만으로도 Parabel(3개의 트리를 사용)을 뛰어넘는 성능를 기록했으며, 이는 훨씬 더 높은 효율성과 효과성을 시사한다.
• 후보 레이블 프루닝(c=1000)이 성능 저하 없이 계산 비용을 효과적으로 제어했다.
• 계층적 설계 덕분에 모델 규모와 학습 복잡도가 감소하여 GPU 메모리 제약이 있는 시스템에서도 배포가 가능했다.
• 그룹 수준 모델이 여전히 직접 학습하기에 너무 클 경우, 프레임워크의 재귀적 적용이 추가적인 확장성을 가능하게 한다.