[논문 리뷰] Enhancing Label Correlation Feedback in Multi-Label Text Classification via Multi-Task Learning

Ximing Zhang, Qianwen Zhang외 3명|arXiv (Cornell University)|2021. 06. 06.

Text and Document Classification Technologies참고 문헌 19인용 수 4

한 줄 요약

이 논문은 다중 레이블 텍스트 분류를 위한 다중 작업 학습 프레임워크인 LACO를 제안한다. 이는 공동 문서-레이블 임베딩과 두 가지 보조 작업인 쌍별 레이블 동시 발생 예측(PLCP) 및 조건부 레이블 동시 발생 예측(CLCP)을 통해 레이블 상관관계 피드백을 향상시킨다. 이 방법은 AAPD 및 RCV1-V2에서 강력한 베이스라인을 능가하며, 특히 저빈도 레이블과 미리보지 않은 레이블 조합에 대해 일반화 능력 향상을 보이며, 수렴 속도가 빠르고 레이블 다양성이 뛰어나다.

ABSTRACT

In multi-label text classification (MLTC), each given document is associated with a set of correlated labels. To capture label correlations, previous classifier-chain and sequence-to-sequence models transform MLTC to a sequence prediction task. However, they tend to suffer from label order dependency, label combination over-fitting and error propagation problems. To address these problems, we introduce a novel approach with multi-task learning to enhance label correlation feedback. We first utilize a joint embedding (JE) mechanism to obtain the text and label representation simultaneously. In MLTC task, a document-label cross attention (CA) mechanism is adopted to generate a more discriminative document representation. Furthermore, we propose two auxiliary label co-occurrence prediction tasks to enhance label correlation learning: 1) Pairwise Label Co-occurrence Prediction (PLCP), and 2) Conditional Label Co-occurrence Prediction (CLCP). Experimental results on AAPD and RCV1-V2 datasets show that our method outperforms competitive baselines by a large margin. We analyze low-frequency label performance, label dependency, label combination diversity and coverage speed to show the effectiveness of our proposed method on label correlation learning.

연구 동기 및 목표

• 순서 기반 모델의 한계를 해결하기 위해 다중 레이블 텍스트 분류에서 레이블 순서 의존성, 빈도 높은 레이블 조합에 대한 과적합, 오류 전파 문제를 해결하고자 한다.
• 순차적 생성에 의존하지 않고 레이블 상관관계를 명시적으로 모델링하여 저빈도 레이블의 일반화 능력을 향상시키고자 한다.
• 두 가지 보조 작업을 통해 이차 및 고차 레이블 동시 발생 패턴을 포착함으로써 레이블 상관관계 피드백을 향상시키고자 한다.
• 레이블 순서에 영향을 받지 않는 방식으로 문서 및 레이블 표현을 함께 학습하는 분류 모델을 개발하고자 한다.

제안 방법

• 공동 공간에서 문서 및 레이블 표현을 함께 학습하기 위해 공유된 트랜스포머 기반 인코더와 공동 임베딩(JE) 메커니즘을 사용한다.
• 문서-레이블 교차 어텐션(CA) 메커니즘을 활용하여 분류 기능을 유지하는 레이블별 문서 표현을 생성한다.
• 두 레이블이 주어진 샘플에서 동시에 발생하는지 예측함으로써 이차 레이블 상관관계를 모델링하기 위해 쌍별 레이블 동시 발생 예측(PLCP)을 도입한다.
• 부분적인 관련 레이블 집합이 주어졌을 때 미지의 레이블의 관련성을 예측함으로써 고차 레이블 상관관계를 모델링하기 위해 조건부 레이블 동시 발생 예측(CLCP)을 제안한다.
• 메인 다중 레이블 분류 작업과 두 보조 상관관계 학습 작업을 함께 최적화하는 엔드 투 엔드 다중 작업 학습 프레임워크를 훈련한다.
• BERT 기반 인코더를 사용하고, 메인 작업 및 보조 작업에 대해 교차 엔트로피 손실을 적용하여 특징 공유 및 향상된 표현 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 순차적 생성에 의존하지 않고 다중 작업 학습 프레임워크가 다중 레이블 텍스트 분류에서 레이블 상관관계 피드백을 효과적으로 향상시킬 수 있는가?
• RQ2 PLCP 및 CLCP와 같은 보조 작업이 저빈도 및 미리보지 않은 레이블 조합에 대해 일반화 능력을 얼마나 향상시키는가?
• RQ3 레이블 다양성, 수렴 속도, 레이블 순서에 대한 강건성 측면에서 순서 기반 모델에 비해 제안된 방법은 어떻게 비교되는가?
• RQ4 교차 어텐션을 통한 공동 문서-레이블 임베딩이 독립적인 레이블 모델링보다 더 우수한 분류 기능을 가진 표현을 도출하는가?

주요 결과

• LACO는 AAPD 및 RCV1-V2 데이터셋에서 경쟁력 있는 베이스라인을 능가하여 더 높은 마이크로-F1 스코어와 더 나은 서브셋 정확도를 달성한다.
• PLCP 및 CLCP 보조 작업을 모두 포함한 모델은 RCV1-V2에서 가장 높은 서브셋 정확도(0.644)를 기록했으며, Seq2Seq 기반 모델보다 더 다양한 레이블 조합(241개의 고유 조합)을 생성한다.
• LACO는 Seq2Seq T(87개)에 비해 RCV1-V2에서 훨씬 더 다양한 레이블 조합(321개)을 생성하여, 새로운 레이블 조합에 대한 일반화 능력이 뛰어나다는 것을 보여준다.
• LACO는 모델의 예측 레이블 분포와 진짜값 간의 KL 발산이 RCV1-V2 테스트 세트에서 0.76으로 Seq2Seq T(0.94)보다 낮아, 레이블 종속성 패턴을 더 잘 학습하고 있음을 나타낸다.
• 수렴 속도 곡선을 통해 LACO는 다른 BERT 기반 모델보다 수렴 속도가 더 빠르며, 다중 작업 학습이 훈련을 가속화함을 보여준다.
• 보조 작업을 통한 향상된 레이블 상관관계 피드백 덕분에 저빈도 레이블에 대해 더 나은 예측 능력을 보이며, 성능 향상이 뚜렷하다.