[論文レビュー] Enhancing Label Correlation Feedback in Multi-Label Text Classification via Multi-Task Learning

Ximing Zhang, Qianwen Zhang+3 more|arXiv (Cornell University)|Jun 6, 2021

Text and Document Classification Technologies参考文献 19被引用数 4

ひとこと要約

本稿では、複数ラベルテキスト分類のためのマルチタスク学習フレームワークLACOを提案する。LACOは、ドキュメント-ラベル統合埋め込みと2つの補助タスク（対比較ラベル共起予測（PLCP）および条件付きラベル共起予測（CLCP））を用いて、ラベル相関フィードバックを強化する。AAPDおよびRCV1-V2で強力なベースラインを上回り、特に低頻度ラベルや未観測ラベル組み合わせに対して一般化性能が向上し、収束が速く、ラベル多様性が優れている。

ABSTRACT

In multi-label text classification (MLTC), each given document is associated with a set of correlated labels. To capture label correlations, previous classifier-chain and sequence-to-sequence models transform MLTC to a sequence prediction task. However, they tend to suffer from label order dependency, label combination over-fitting and error propagation problems. To address these problems, we introduce a novel approach with multi-task learning to enhance label correlation feedback. We first utilize a joint embedding (JE) mechanism to obtain the text and label representation simultaneously. In MLTC task, a document-label cross attention (CA) mechanism is adopted to generate a more discriminative document representation. Furthermore, we propose two auxiliary label co-occurrence prediction tasks to enhance label correlation learning: 1) Pairwise Label Co-occurrence Prediction (PLCP), and 2) Conditional Label Co-occurrence Prediction (CLCP). Experimental results on AAPD and RCV1-V2 datasets show that our method outperforms competitive baselines by a large margin. We analyze low-frequency label performance, label dependency, label combination diversity and coverage speed to show the effectiveness of our proposed method on label correlation learning.

研究の動機と目的

• 系列から系列へのモデルの多ラベルテキスト分類における制限、すなわちラベル順序依存性、頻度の高いラベル組み合わせへの過学習、誤差伝搬を解消すること。
• 逐次的生成に依存せずに、明示的にラベル相関をモデル化することで、低頻度ラベルの一般化を向上させること。
• 2次および高次ラベル共起パターンを捉える補助タスクを通じて、ラベル相関フィードバックを強化すること。
• ラベルの順序に依存しないまま、ドキュメントおよびラベル表現を共同で学習するモデルを構築すること。

提案手法

• 共有のトランスフォーマー基盤エンコーダと統合埋め込み（JE）機構を用い、共有空間でドキュメントとラベル表現を同時に学習する。
• ドキュメント-ラベルクロスアテンション（CA）機構を採用し、判別的特徴を保持したラベル固有のドキュメント表現を生成する。
• 2次ラベル相関をモデル化するため、与えられたサンプルで2つのラベルが共起するかどうかを予測する対比較ラベル共起予測（PLCP）を導入する。
• 高次ラベル相関をモデル化するため、一部の関連ラベルが与えられたもとで、未知のラベルの関連性を予測する条件付きラベル共起予測（CLCP）を提案する。
• 主な多ラベル分類タスクと2つの補助相関学習タスクを同時に最適化するエンドツーエンドのマルチタスク学習フレームワークを訓練する。
• BERTベースのエンコーダを用い、主タスクおよび補助タスクで交差エントロピー損失を用いてモデルを訓練することで、特徴共有と表現学習の向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 系列生成に依存せずに、マルチタスク学習フレームワークが多ラベルテキスト分類におけるラベル相関フィードバックを効果的に強化できるか。
• RQ2 PLCPやCLCPのような補助タスクは、特に低頻度および未観測ラベル組み合わせにおいて、一般化性能をどの程度向上させるか。
• RQ3 ラベルの順序に依存しないモデルとして、LACOは系列から系列へのモデルと比較して、ラベル多様性、収束速度、ラベル順序へのロバスト性においてどのように優れているか。
• RQ4 クロスアテンションを用いたドキュメント-ラベル統合埋め込みは、独立したラベルモデリングに比べて、より優れた判別的表現を生成するか。

主な発見

• LACOはAAPDおよびRCV1-V2の両データセットで競合するベースラインを上回り、より高いマイクロ-F1スコアと高いサブセット正解率を達成した。
• PLCPおよびCLCPの両補助タスクを有するモデルは、サブセット正解率が最も高く（RCV1-V2で0.644）、Seq2Seqベースのモデルよりも多様なラベル組み合わせ（RCV1-V2で241の固有組み合わせ）を生成した。
• LACOはSeq2Seq T（87）と比較して、未観測ラベル組み合わせへの一般化が著しく優れており、321の固有ラベル組み合わせを生成した。
• LACOの予測ラベル分布と正例との間のKLダイバージェンスは、RCV1-V2テストセットで0.76であり、Seq2Seq Tの0.94より低く、ラベル依存性のパターンをよりよく適合していることを示している。
• 収束速度曲線から、LACOは他のBERTベースのモデルよりも収束が速く、マルチタスク学習が学習を加速していることが示された。
• 補助タスクによるラベル相関フィードバックの強化のおかげで、低頻度ラベルの予測能力が向上し、モデルは優れた性能を示した。