[논문 리뷰] GNN-XML: Graph Neural Networks for Extreme Multi-label Text Classification

Daoming Zong, Shiliang Sun|arXiv (Cornell University)|2020. 12. 10.

Text and Document Classification Technologies참고 문헌 48인용 수 7

한 줄 요약

GNN-XML는 레이블 동시 발생을 활용하여 레이블 그래프를 구축하고, 저통과 필터를 적용한 특성 부여 그래프 클러스터링을 통해 종속성 및 의미 인식 클러스터를 형성하는 그래프 신경망 프레임워크를 제안한다. 또한 표현 학습과 분류기 학습을 분리하는 双측 브랜치 그래프 이sovomorphism 네트워크를 도입하여 꼬리 레이블에서의 성능을 크게 향상시키면서도 효율성을 유지하며, 다양한 벤치마크에서 최신 기술을 초월한다.

ABSTRACT

Extreme multi-label text classification (XMTC) aims to tag a text instance with the most relevant subset of labels from an extremely large label set. XMTC has attracted much recent attention due to massive label sets yielded by modern applications, such as news annotation and product recommendation. The main challenges of XMTC are the data scalability and sparsity, thereby leading to two issues: i) the intractability to scale to the extreme label setting, ii) the presence of long-tailed label distribution, implying that a large fraction of labels have few positive training instances. To overcome these problems, we propose GNN-XML, a scalable graph neural network framework tailored for XMTC problems. Specifically, we exploit label correlations via mining their co-occurrence patterns and build a label graph based on the correlation matrix. We then conduct the attributed graph clustering by performing graph convolution with a low-pass graph filter to jointly model label dependencies and label features, which induces semantic label clusters. We further propose a bilateral-branch graph isomorphism network to decouple representation learning and classifier learning for better modeling tail labels. Experimental results on multiple benchmark datasets show that GNN-XML significantly outperforms state-of-the-art methods while maintaining comparable prediction efficiency and model size.

연구 동기 및 목표

• 레이블 집합이 수백만 개에 이르는 극단적 다중 레이블 텍스트 분류(XMTC)에서의 확장성과 데이터 희소성 문제를 해결한다.
• 트리 기반 모델의 오류 전파 및 꼬리 레이블에서의 낮은 일반화 성능 등의 기존 방법의 한계를 극복하기 위해 레이블 상관관계와 종속성을 모델링한다.
• 큰 레이블 공간에서도 높은 예측 효율성을 유지하면서도 확장 가능한 종단 간 프레임워크를 개발한다.
• 표현 학습과 분류기 학습을 분리하여 장기간의 꼬리 레이블 분포에서의 성능을 향상시킨다.

제안 방법

• 학습 데이터에서의 동시 발생 패턴을 활용해 레이블 간 상관관계를 포착하는 레이블 그래프를 구축한다.
• 저통과 그래프 필터를 적용한 특성 부여 그래프 클러스터링을 통해 레이블 연결성과 레이블 특성을 동시에 모델링하여 의미 인식 및 종속성 인식 클러스터를 형성한다.
• 예측 모델에 사전 학습된 언어 모델(BERT 등)을 KeyGraph 스키마를 통해 통합하여 깊은 문맥적 특징을 텍스트 표현에 통합한다.
• 표현 학습과 분류기 학습을 분리하는 이중 브랜치 그래프 이sovomorphism 네트워크를 설계하여 재균형화를 통해 꼬리 레이블에 점진적으로 집중할 수 있도록 한다.
• 노드 임베딩을 종합하여 글로벌 텍스트 표현을 생성하기 위해 그래프 리드아웃 연산을 사용한다.
• 제한된 GPU 및 메모리 자원에서도 학습이 가능하도록 학습 중에 효율적인 그래프 샘플링을 적용하여 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 극단적 다중 레이블 환경에서 레이블 동시 발생 패턴을 효과적으로 활용하여 의미 인식 가능한 유의미한 레이블 클러스터를 형성할 수 있는가?
• RQ2 표현 학습과 분류기 학습을 분리하는 것이 XMTC에서 자원이 부족한(꼬리) 레이블의 일반화 성능을 향상시키는 데 기여하는가?
• RQ3 수백만 개의 레이블에까지 확장 가능한 그래프 신경망 프레임워크가 고성능 예측 효율성을 유지할 수 있는가?
• RQ4 사전 학습된 언어 모델의 통합이 GNN-XML 프레임워크의 성능에 어떤 영향을 미치는가?
• RQ5 제안된 레이블 클러스터링 전략이 장기간의 꼬리 레이블 분포에서의 데이터 희소성 문제를 어느 정도 완화하는가?

주요 결과

• GNN-XML은 PSP@k(k=1,3,5)에서 최신 기술을 뛰어넘는 성능을 보이며, 기존 모델이 일반적으로 예측을 생략하는 꼬리 레이블에서 뛰어난 성능을 입증한다.
• 100개 이상의 학습 인스턴스를 가진 클러스터의 커버리지가 75.8%에 이르며, 의미 인식 클러스터링을 통해 데이터 희소성 문제가 효과적으로 완화됨을 시사한다.
• 제거 실험 결과 각 구성 요소—이중 브랜치 학습, 그래프 이sovomorphism, 리드아웃—이 성능 향상에 기여하며, 특히 이중 브랜치가 꼬리 레이블에서 가장 뚜렷한 개선 효과를 보였다.
• 레이블 표현에 BERT-base를 사용할 경우 TF-IDF보다 훨씬 뛰어난 성능을 기록하여, 희소한 단어 집합 표현보다 밀도 높고 문맥 기반 특징의 중요성을 입증한다.
• 학습 시간과 모델 크기의 약간의 증가에도 불구하고 GNN-XML은 밀리초 수준의 예측 지연을 유지하여 실시간 응용 요구사항을 충족한다.
• 최적의 클러스터 수는 약 ⌊L/60⌋이며, 이 값에서 성능이 최고조에 이르며, 이를 초과해도 성능 향상이 극히 미미하다.