[論文レビュー] An Effective Deployment of Contrastive Learning in Multi-label Text Classification

Nankai Lin, Guanqiu Qin+3 more|arXiv (Cornell University)|Dec 1, 2022

Text and Document Classification Technologies被引用数 6

ひとこと要約

本稿では、マルチラベルテキスト分類における意味的表現の向上を目的として、5つの新しい対照学習損失関数——厳密対照損失（SCL）、ラベル内対照損失（ICL）、ジャコーデ類似度対照損失（JSCL）、ジャコーデ類似度確率対照損失（JSPCL）、段階的ラベル対照損失（SLCL）——を提案する。感情分類およびニュース分類タスクにおける実験の結果、SCLとJSCLは最先端の性能を達成し、スペイン語データセットではSCLが55.88 F1-macroおよび63.70 F1-microを達成し、インドネシア語データセットではJSCLが74.29 F1-macroおよび85.27 F1-microを達成した。

ABSTRACT

The effectiveness of contrastive learning technology in natural language processing tasks is yet to be explored and analyzed. How to construct positive and negative samples correctly and reasonably is the core challenge of contrastive learning. It is even harder to discover contrastive objects in multi-label text classification tasks. There are very few contrastive losses proposed previously. In this paper, we investigate the problem from a different angle by proposing five novel contrastive losses for multi-label text classification tasks. These are Strict Contrastive Loss (SCL), Intra-label Contrastive Loss (ICL), Jaccard Similarity Contrastive Loss (JSCL), Jaccard Similarity Probability Contrastive Loss (JSPCL), and Stepwise Label Contrastive Loss (SLCL). We explore the effectiveness of contrastive learning for multi-label text classification tasks by the employment of these novel losses and provide a set of baseline models for deploying contrastive learning techniques on specific tasks. We further perform an interpretable analysis of our approach to show how different components of contrastive learning losses play their roles. The experimental results show that our proposed contrastive losses can bring improvement to multi-label text classification tasks. Our work also explores how contrastive learning should be adapted for multi-label text classification tasks.

研究の動機と目的

• 重複するラベルがクラス境界を曇らせるため、マルチラベルテキスト分類における曖昧な意味的表現の課題に対処すること。
• ラベルの共起性によってポジティブ・ネガティブサンプルの定義が曖昧になるマルチラベルテキスト分類に、対照学習を効果的に適応させる方法を、新しい対照損失関数の設計を通じて調査すること。
• マルチラベルテキスト分類タスクにおける対照学習の導入のためのベースラインモデルおよび損失関数のセットを提供すること。
• 異なる対照損失の構成が意味空間のクラスタリングおよび識別性に与える影響を解釈可能な分析を通じて検証すること。
• 感情分類およびニュース分類を含む、複数のマルチラベルテキスト分類ベンチマークにおいて、対照学習の有効性を評価すること。

提案手法

• 正確なラベル一致に基づいてポジティブ・ネガティブサンプルのペairを厳密に制御する、厳密対照損失（SCL）を提案し、意味的クラスタリングを強化する。
• 同じラベルを共有するサンプル間の特徴類似度を高めることで、クラス内コンパクト性を向上させる、ラベル内対照損失（ICL）を導入する。
• ラベル集合間のジャコーデ類似度を用いてポジティブサンプルを定義することで、ラベルの重複に対するロバスト性を向上させる、ジャコーデ類似度対照損失（JSCL）を開発する。
• ジャコーデ類似度を用いてポジティブサンプルの確率をモデル化することで、確率的対照学習を可能にする、ジャコーデ類似度確率対照損失（JSPCL）を導入する。
• ラベルの多様性（ラベル数）に応じて段階的に対照学習を適用することで、高頻度ラベルによるノイズを低減する、段階的ラベル対照損失（SLCL）を提案する。
• T-SNE可視化およびカリンスキー＝ハーバスシュスコアを用いて、異なる損失関数における学習済み意味的表現の質を解釈的に分析する。

実験結果

リサーチクエスチョン

• RQ1 ラベルの共起性によってポジティブ・ネガティブサンプルの定義が曖昧になるマルチラベルテキスト分類において、対照学習をどのように効果的に適応できるか？
• RQ2 厳密型、ラベル内型、ジャコーデベース型のいずれの対照損失設計が、マルチラベルテキスト分類における意味的表現として最も効果的か？
• RQ3 異なる対照損失は、意味空間におけるクラスタリング品質およびクラス間分離性をどの程度向上させるか？
• RQ4 感情分類およびニュース分類を含む、さまざまなマルチラベルテキスト分類ベンチマークにおいて、対照学習の性能はどのように変動するか？
• RQ5 学習済み意味空間の解釈可能な分析によって、各対照損失がクラス境界の明確化をどの程度向上させているかを検証できるか？

主な発見

• SCLはマルチラベル次元で最高のカリンスキー＝ハーバスシュスコア（25.14）を達成し、意味空間における優れたクラスタリング品質とクラス間分離性を示している。
• JSCLはシングルラベル次元で最高のカリンスキー＝ハーバスシュスコア（200.48）を達成し、個々のラベルにおけるクラス内コンパクト性の強さを示している。
• スペイン語データセットでは、JSCLが55.62 F1-macroおよび63.45 F1-microを達成し、SpanEmo（55.49 F1-macro）を上回り、新たな最先端性能を確立した。
• インドネシア語データセットでは、SCLが74.29 F1-macroおよび85.27 F1-microを達成し、SpanEmo（71.62 F1-macro）を上回り、新たな最先端性能を達成した。
• SCLおよびJSCLは、T-SNE可視化でより緊密なクラスタと明確なクラス境界が得られることから、意味的表現の向上が顕著に確認された。
• SLCLは境界明確化においてはやや劣るが、一貫した性能を示しており、高ラベル多様性のサンプル処理において有用であることが示唆された。