[논문 리뷰] An Effective Deployment of Contrastive Learning in Multi-label Text Classification

Nankai Lin, Guanqiu Qin외 3명|arXiv (Cornell University)|2022. 12. 01.

Text and Document Classification Technologies인용 수 6

한 줄 요약

이 논문은 다중 레이블 텍스트 분류에서 의미적 표현을 향상시키기 위해 다섯 가지 새로운 대비 학습 손실 함수—엄격 대비 손실(SCL), 레이블 내 대비 손실(ICL), 재스처 유사도 대비 손실(JSCL), 재스처 유사도 확률 대비 손실(JSPCL), 단계별 레이블 대비 손실(SLCL)—을 제안한다. 다중 레이블 정서 및 뉴스 분류 작업에서의 실험 결과, SCL과 JSCL가 최고 성능을 기록했으며, 스페인어 데이터셋에서 SCL은 55.88 F1-macro 및 63.70 F1-micro를 달성했고, 인도네시아어 데이터셋에서 JSCL은 74.29 F1-macro 및 85.27 F1-micro를 기록했다.

ABSTRACT

The effectiveness of contrastive learning technology in natural language processing tasks is yet to be explored and analyzed. How to construct positive and negative samples correctly and reasonably is the core challenge of contrastive learning. It is even harder to discover contrastive objects in multi-label text classification tasks. There are very few contrastive losses proposed previously. In this paper, we investigate the problem from a different angle by proposing five novel contrastive losses for multi-label text classification tasks. These are Strict Contrastive Loss (SCL), Intra-label Contrastive Loss (ICL), Jaccard Similarity Contrastive Loss (JSCL), Jaccard Similarity Probability Contrastive Loss (JSPCL), and Stepwise Label Contrastive Loss (SLCL). We explore the effectiveness of contrastive learning for multi-label text classification tasks by the employment of these novel losses and provide a set of baseline models for deploying contrastive learning techniques on specific tasks. We further perform an interpretable analysis of our approach to show how different components of contrastive learning losses play their roles. The experimental results show that our proposed contrastive losses can bring improvement to multi-label text classification tasks. Our work also explores how contrastive learning should be adapted for multi-label text classification tasks.

연구 동기 및 목표

• 레이블의 중복으로 인해 클래스 경계가 흐려지는 다중 레이블 텍스트 분류에서 의미적 표현의 모호함 문제를 해결하기 위해.
• 레이블 동시 발생으로 인해 긍정 및 부정 샘플 정의가 모호한 상황에서 대비 학습이 어떻게 효과적으로 다중 레이블 텍스트 분류에 적응될 수 있는지 조사하기 위해.
• 다중 레이블 텍스트 분류 작업에 대비 학습을 구현하기 위한 기초 모델 및 손실 함수 세트를 제공하기 위해.
• 다양한 대비 손실 구성 요소가 의미 공간의 군집화 및 분리에 어떻게 영향을 미치는지 해석 가능한 분석을 수행하기 위해.
• 다양한 다중 레이블 텍스트 분류 벤치마크(정서 및 뉴스 분류 포함)에서 대비 학습의 효과성을 평가하기 위해.

제안 방법

• 정확한 레이블 매칭 기반으로 엄격한 긍정-부정 샘플 쌍을 강제하는 엄격 대비 손실(SCL)을 제안하여 의미 군집화를 강화한다.
• 동일한 레이블을 공유하는 샘플 간의 특징 유사도를 증진시켜 내부 클래스의 밀도를 높이는 레이블 내 대비 손실(ICL)을 도입한다.
• 레이블 집합 간 재스처 유사도를 사용해 긍정 샘플을 정의함으로써 레이블 중복에 대한 강건성을 향상시키는 재스처 유사도 대비 손실(JSCL)을 개발한다.
• 재스처 유사도를 사용해 긍정 샘플의 확률을 모델링함으로써 확률 기반 대비 학습을 가능하게 하는 재스처 유사도 확률 대비 손실(JSPCL)을 도입한다.
• 레이블 카디널리티 기반으로 단계적으로 대비 학습을 적용함으로써 고다양성 레이블에서 발생하는 노이즈를 줄이는 단계별 레이블 대비 손실(SLCL)을 제안한다.
• 학습된 의미 표현의 품질을 해석적으로 분석하기 위해 T-SNE 시각화 및 칼린스키-하르바스즈 군집 점수를 활용한다.

실험 결과

연구 질문

• RQ1 레이블 동시 발생으로 인해 긍정 및 부정 샘플 정의가 모호한 다중 레이블 텍스트 분류에 대비 학습을 어떻게 효과적으로 적응시킬 수 있는가?
• RQ2 엄격, 레이블 내, 또는 재스처 기반 대비 손실 설계 중 어느 것이 다중 레이블 텍스트 분류에 가장 효과적인 의미적 표현을 제공하는가?
• RQ3 다양한 대비 손실이 의미 공간에서 군집 품질 향상과 클래스 간 분리도 향상에 어느 정도 기여하는가?
• RQ4 정서 및 뉴스 분류와 같은 다양한 다중 레이블 텍스트 분류 벤치마크에서 대비 학습의 성능는 어떻게 변하는가?
• RQ5 학습된 의미 공간의 해석 가능한 분석을 통해 각 대비 손실이 클래스 경계 명확성 향상에 기여하는지 확인할 수 있는가?

주요 결과

• SCL은 다중 레이블 차원에서 최고의 칼린스키-하르바스즈 점수(25.14)를 기록하여 의미 공간 내 우수한 군집 품질과 클래스 간 분리도를 보였다.
• JSCL은 단일 레이블 차원에서 최고의 칼린스키-하르바스즈 점수(200.48)를 기록하여 개별 레이블에 대한 내부 클래스의 밀도 향상에서 뛰어난 성능을 보였다.
• 스페인어 데이터셋에서 JSCL는 55.62 F1-macro 및 63.45 F1-micro를 기록했으며, SpanEmo(55.49 F1-macro)를 능가하며 새로운 SOTA를 수립했다.
• 인도네시아어 데이터셋에서 SCL는 74.29 F1-macro 및 85.27 F1-micro를 기록했으며, SpanEmo(71.62 F1-macro)를 능가하며 새로운 SOTA를 수립했다.
• SCL과 JSCL는 T-SNE 시각화를 통해 더 단단한 군집과 더 명확한 클래스 경계를 보여줌으로써 의미 표현 향상이 뚜렷하게 확인되었다.
• SLCL는 경계 명확성 향상에서는 다소 떨어지지만, 일관된 성능을 보이며 고카디널리티 레이블 샘플 처리에 유용함을 시사한다.