[論文レビュー] Semi-Supervised Learning with Balanced Deep Representation Distributions

Changchun Li, Ximing Li+3 more|arXiv (Cornell University)|Mar 22, 2026

Text and Document Classification Technologies被引用数 0

ひとこと要約

S2tc-bdd を導入する半教師付きテキスト分類法。深層表現のラベル角度の分散を平滑化することで pseudo-label の精度と scarce なラベル下での性能を改善する。

ABSTRACT

Semi-Supervised Text Classification (SSTC) mainly works under the spirit of self-training. They initialize the deep classifier by training over labeled texts; and then alternatively predict unlabeled texts as their pseudo-labels and train the deep classifier over the mixture of labeled and pseudo-labeled texts. Naturally, their performance is largely affected by the accuracy of pseudo-labels for unlabeled texts. Unfortunately, they often suffer from low accuracy because of the margin bias problem caused by the large difference between representation distributions of labels in SSTC. To alleviate this problem, we apply the angular margin loss, and perform several Gaussian linear transformations to achieve balanced label angle variances, i.e., the variance of label angles of texts within the same label. More accuracy of predicted pseudo-labels can be achieved by constraining all label angle variances balanced, where they are estimated over both labeled and pseudo-labeled texts during self-training loops. With this insight, we propose a novel SSTC method, namely Semi-Supervised Text Classification with Balanced Deep representation Distributions (S2TC-BDD). We implement both multi-class classification and multi-label classification versions of S2TC-BDD by introducing some pseudo-labeling tricks and regularization terms. To evaluate S2 TC-BDD, we compare it against the state-of-the-art SSTC methods. Empirical results demonstrate the effectiveness of S2 TC-BDD, especially when the labeled texts are scarce.

研究の動機と目的

• SSTC における不均衡なラベル表現分布がもたらすマージンバイアスを特定する。
• Gaussian に基づく角度変換を用いてラベル角度を平衡化する balanced deep representation distribution (BDD) loss を開発する。
• 自己訓練中に balanced な分布を活用することで multi-class および multi-label の両方の SSTC を拡張する。
• S2tc-bdd が最先端の SSTC 手法より優れた性能を示し、特にラベル付きデータが限られている場合に顕著であることを実証する。

提案手法

• AM loss を用いた BERT をベースに、識別的な深層表現を学習する。
• ラベル角度はラベル特異的ガウス分布に由来すると仮定し、ψk(θik) による分散をラベル間で平衡化する Gaussian line ar transformation を適用する。
• AM loss 内で θik の代わりに ψk(·) を用いた balanced deep representation distribution (BDDL) loss L_bdd を定義・最適化する。
• 自己訓練中にラベル付き・擬似ラベル付きテキストの両方からラベル角度分布（平均 μk と分散 σk^2）およびプロトタイプ ck を推定する。
• multi-class の場合は sharpening と entropy regularization を用い、multi-label の場合は class-distribution-aware pseudo-labeling (CAP) と ADMM による低ランク正則化を適用する。
• 完全な目的関数を提供する：L_mcc（multi-class）と L_mlc（multi-label）、監視付き・非監視付き・正則化項を統合する。

Figure 1: The average difference of label angle variances (Avg.DLAV) computed in semi-supervised and supervised manners across AG News ( Multi-Class Case ) and AAPD ( Multi-Label Case ), respectively.

実験結果

リサーチクエスチョン

• RQ1 不均衡なラベル表現分布によるマージンバイアスは SSTC における pseudo-label の精度にどのように影響するか？
• RQ2 角度を平衡化したラベル分布へ変換することで pseudo-label の品質と最終性能が改善されるか？
• RQ3 S2tc-bdd を用いた scarce なラベルデータ下での multi-class および multi-label SSTC の設定はどの程度性能を発揮するか？
• RQ4 sharpening、CAP、正則化を balanced 表現で学習する際の影響はどのようになるか？
• RQ5 提案手法は標準ベンチマークで既存の SSTC ベースラインを上回るか？

主な発見

• S2tc-bdd は、特にラベルデータが乏しい場合に最先端の SSTC 手法と比較して優れた性能を示す。
• ガウス線形変換によるラベル角度分散の平衡化はマージンバイアスを解消し、pseudo-label の精度を向上させる。
• 本手法は multi-class および multi-label の両方のテキスト分類タスクへ効果的に拡張できる。
• self-training において sharpening または CAP を entropy regularization と組み合わせることで学習が向上する。
• AG News、Yelp、Yahoo（multi-class）および Ohsumed、AAPD、RCV1-V2（multi-label）での実験は堅牢な改善を示す。

Figure 2: Let solid circles and triangles denote labeled positive and negative texts, and hollow ones denote corresponding unlabeled texts. (a) The large difference between label angle variances results in the margin bias. Many unlabeled texts (in red) can be misclassified. (b) Balancing the label a