[논문 리뷰] Label-aware Document Representation via Hybrid Attention for Extreme Multi-Label Text Classification

Xin Huang, Boli Chen외 2명|arXiv (Cornell University)|2019. 05. 24.

Text and Document Classification Technologies참고 문헌 32인용 수 10

한 줄 요약

이 논문은 공유 잠재 공간에서 문서 내용과 레이블 구조를 함께 모델링함으로써 레이블 인식 문서 표현을 학습하는 하이브리드 어텐션 딥 신경망인 LAHA를 제안한다. 단어 간 자기어텐션과 단어-레이블 간 상호작용 어텐션을 통합함으로써 LAHA는 특히 꼬리 레이블에서 최신 기술 수준(SOTA) 성능을 달성하며, 다섯 개의 벤치마크 데이터셋에서 nDCG@5 및 P@3 지표에서 현저한 향상을 보였다.

ABSTRACT

Extreme multi-label text classification (XMTC) aims at tagging a document with most relevant labels from an extremely large-scale label set. It is a challenging problem especially for the tail labels because there are only few training documents to build classifier. This paper is motivated to better explore the semantic relationship between each document and extreme labels by taking advantage of both document content and label correlation. Our objective is to establish an explicit label-aware representation for each document with a hybrid attention deep neural network model(LAHA). LAHA consists of three parts. The first part adopts a multi-label self-attention mechanism to detect the contribution of each word to labels. The second part exploits the label structure and document content to determine the semantic connection between words and labels in a same latent space. An adaptive fusion strategy is designed in the third part to obtain the final label-aware document representation so that the essence of previous two parts can be sufficiently integrated. Extensive experiments have been conducted on six benchmark datasets by comparing with the state-of-the-art methods. The results show the superiority of our proposed LAHA method, especially on the tail labels.

연구 동기 및 목표

• 극단적 다중레이블 텍스트 분류(XMTC)의 과제를 해결하기 위해, 훈련 예제가 적은 저자원 꼬리 레이블에 초점을 맞춘다.
• 내용과 레이블 간의 의미 관계를 명시적으로 모델링하여 문서 표현을 향상시키며, 내용과 레이블 구조를 모두 활용한다.
• 문서 수준과 레이블 수준의 표현을 통합하여 분류 성능을 향상시키는 통합 프레임워크를 설계한다.
• 기존 어텐션 기반 모델이 문서 내용에만 집중하거나 레이블 상관관계를 忽시하는 한계를 극복한다.

제안 방법

• 모든 레이블을 통해 단어 수준의 중요도 점수를 계산하기 위해 자기어텐션을 갖춘 양방향 LSTM을 사용하여 레이블별 단어 기여도를 캡처한다.
• 레이블 동시출현 구조를 사용하여 공유 잠재 공간에서 단어 및 레이블 임베딩을 학습함으로써 레이블 계층 구조와 상관관계를 유지한다.
• 공유 공간에서 단어와 레이블 간의 의미 정렬을 명시적으로 계산하기 위해 상호작용 어텐션 메커니즘을 적용한다.
• 자기어텐션 및 상호작용 어텐션 구성 요소에서 정보를 융합하기 위해 적응형 융합 전략을 사용하여 최종 레이블 인식 문서 표현을 생성한다.
• 모든 레이블의 레이블 예측을 최적화하기 위해 교차 엔트로피 손실을 사용하여 엔드 투 엔드 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 문서 내용과 레이블 구조를 함께 모델링하면 극단적 다중레이블 텍스트 분류에서 표현 학습 성능이 향상되는가?
• RQ2 잠재 공간을 통한 레이블 구조 통합이 저자원 꼬리 레이블에서 성능 향상에 어떻게 기여하는가?
• RQ3 자기어텐션과 상호작용 어텐션을 통합한 하이브리드 어텐션 메커니즘이 단일 어텐션 기반 모델보다 우월한가?
• RQ4 레이블 인식 표현은 벤치마크 데이터셋에서 P@τ 및 nDCG@τ와 같은 분류 지표에 얼마나 기여하는가?

주요 결과

• LAHA는 다섯 개의 벤치마크 데이터셋에서 전체적으로 최고 성능을 기록했으며, 모든 지표에서 20개 비교 중 19번 승리했다.
• AAPD 데이터셋에서 LAHA는 P@1 84.48%, P@3 60.72%, nDCG@5 83.70%를 기록했으며, 두 번째로 우수한 모델인 AttentionXML보다 P@1에서 1.46%p, nDCG@5에서 2.98%p 높았다.
• Amazon-12K 데이터셋에서 LAHA는 P@1 94.87% 및 nDCG@3 89.13%를 기록했으며, SLEEC(93.49% P@1)와 AttentionXML(93.75% P@1)보다 뚜렷한 우월성을 보였다.
• LAHA는 특히 꼬리 레이블에서 가장 높은 성능 향상을 보였으며, Wiki-30K 데이터셋에서 AttentionXML 대비 P@5에서 최대 3.5% 향상되었다.
• 학습 예제가 적은 데이터셋(예: EUR-Lex 및 Wiki-30K)에서도 성능이 뛰어나, 딥 러닝 모델이 일반적으로 성능이 떨어지는 데이터 스.Parse의 경우, 데이터 희소성에 대해 강건함을 시사한다.