[논문 리뷰] LA-HCN: Label-based Attention for Hierarchical Multi-label TextClassification Neural Network

Xinyi Zhang, Jiahao Xu외 2명|arXiv (Cornell University)|2020. 09. 23.

Text and Document Classification Technologies참고 문헌 26인용 수 4

한 줄 요약

이 논문은 레이블 기반 어텐션을 사용하여 레이블 계층의 각 수준에서 작업에 특화된 특징을 추출하는 새로운 신경망인 LA-HCN을 제안한다. 구성 요소 임베딩을 통해 계층적 표현을 학습하고, 별도의 국소적 및 전역 문서 임베딩을 활용함으로써, 네 가지 기준 데이터셋에서 최신 기술 수준의 성능을 달성하면서도 특정 레이블과 연결된 해석 가능한 어텐션 시각화를 가능하게 한다.

ABSTRACT

Hierarchical multi-label text classification (HMTC) has been gaining popularity in recent years thanks to its applicability to a plethora of real-world applications. The existing HMTC algorithms largely focus on the design of classifiers, such as the local, global, or a combination of them. However, very few studies have focused on hierarchical feature extraction and explore the association between the hierarchical labels and the text. In this paper, we propose a Label-based Attention for Hierarchical Mutlti-label Text Classification Neural Network (LA-HCN), where the novel label-based attention module is designed to hierarchically extract important information from the text based on the labels from different hierarchy levels. Besides, hierarchical information is shared across levels while preserving the hierarchical label-based information. Separate local and global document embeddings are obtained and used to facilitate the respective local and global classifications. In our experiments, LA-HCN outperforms other state-of-the-art neural network-based HMTC algorithms on four public HMTC datasets. The ablation study also demonstrates the effectiveness of the proposed label-based attention module as well as the novel local and global embeddings and classifications. By visualizing the learned attention (words), we find that LA-HCN is able to extract meaningful information corresponding to the different labels which provides explainability that may be helpful for the human analyst.

연구 동기 및 목표

• 기존의 HMTC 모델이 분류기 설계에만 집중하면서 계층적 특징 추출을 간과하는 한계를 해결하기 위해.
• 레이블 계층의 각 수준에서 레이블별 특화된 어텐션 메커니즘을 학습시켜 모델의 해석 가능성과 성능을 향상시키기 위해.
• 별도의 국소 및 전역 문서 임베딩을 사용하여 계층적 분류에서의 오류 전파를 줄이기 위해.
• 레벨 간에 계층적 레이블 정보를 효과적으로 공유하면서도 레이블별 특징 표현을 유지하기 위해.
• 레이블 기반 어텐션 메커니즘이 표준 어텐션 기반 방법에 비해 더 의미 있고 설명 가능한 특징 추출을 이끌 수 있음을 입증하기 위해.

제안 방법

• 각 계층적 수준에서 특정 레이블과 관련된 단어에 동적으로 집중하는 레이블 기반 어テン션 메커니즘을 도입한다.
• 단어 수준의 특징과 계층적 레이블 간의 다리를 놓기 위해 구성 요소 임베딩을 중간 표현으로 활용하여, 레이블별 특징 학습을 향상시킨다.
• 국소 및 전역 분류 헤드를 지원하기 위해 별도의 국소 및 전역 문서 임베딩을 생성함으로써 오류 전파를 감소시킨다.
• 구성 요소 메커니즘을 통해 레벨 간에 계층적 레이블 정보를 공유하면서도 레이블별 특징 표현을 유지한다.
• 국소 분류(각 수준에서)와 전역 분류(전체 계층에 걸쳐)를 병합하는 이중 헤드 분류 전략을 사용하며, 임베딩의 조기 연결을 통해 통합한다.
• 각 수준에서 예측하는 레이블에 따라 단어 어텐션을 조절하는 계층적 어텐션 메커니즘을 적용하여 해석 가능한 어텐션 맵을 가능하게 한다.

실험 결과

연구 질문

• RQ1 레이블 기반 어텐션 메커니즘이 레이블별 콘텐츠에 집중함으로써 계층적 다중 레이블 텍스트 분류에서 특징 추출을 향상시킬 수 있는가?
• RQ2 국소 및 전역 문서 임베딩을 분리함으로써 계층적 분류에서 오류 전파를 줄일 수 있는가?
• RQ3 제안된 구성 요소 임베딩 메커니즘이 계층적 수준 간의 레이블 의존성을 효과적으로 포착하는가?
• RQ4 최신 기술 수준의 HMTC 모델에 비해 더 높은 성능과 해석 가능성을 달성할 수 있는가?
• RQ5 계층적 정보 공유가 레이블별 관련성을 유지하면서 분류 정확도를 얼마나 향상시키는가?

주요 결과

• LA-HCN은 네 가지 공개 기준 데이터셋에서 모든 최신 기술 수준의 신경망 기반 HMTC 모델을 능가하며, 가장 높은 AU-PRC 점수를 기록했다.
• 제거 실험 결과, 구성 요소 임베딩 메커니즘이 성능 향상에 크게 기여하며, LA-HCN NC(구성 요소 없음)가 변종 중에서 가장 열 劣한 성능을 보였다.
• 세 개의 데이터셋에서 전역 분류가 국소 분류를 항상 능가했으며, 둘을 조합한 결과가 가장 우수했다.
• 어텐션 시각화 결과, LA-HCN은 특정 레이블과 관련된 단어를 정확히 강조한다 — 예를 들어 'yoga'는 'Exercise'에, 'spiritual'은 'Philosophy'에 해당한다 — 이는 모델의 해석 가능성에 기여한다.
• HARNN 및 HAN과 달리, LA-HCN은 레이블 간에 균일한 어텐션을 적용하지 않고, 각 레이블에 맞는 고유한 어텐션 패턴을 학습하여 레이블별 관련성을 레벨 간에 유지한다.
• 더 깊은 수준에서도 관련성이 없더라도 'yoga'와 같은 중요한 특징을 효과적으로 유지함으로써, 강력한 계층적 특징 전파 능력을 보였다.