[論文レビュー] Class-Imbalanced Semi-Supervised Learning

Minsung Hyun, Jisoo Jeong+1 more|arXiv (Cornell University)|Feb 17, 2020

Imbalanced Data Classification Techniques参考文献 42被引用数 37

ひとこと要約

タスク CISSL（クラス不均衡半教師あり学習）を定義し、抑制付き整合性損失（SCL）を提案して、ラベル付きデータとラベルなしデータの不均衡がある場合のSSLを改善する。MT+SCLは特に不均衡が深刻でラベル付きデータが限られている場合に従来のSSL手法よりも優れていることが多い。

ABSTRACT

Semi-Supervised Learning (SSL) has achieved great success in overcoming the difficulties of labeling and making full use of unlabeled data. However, SSL has a limited assumption that the numbers of samples in different classes are balanced, and many SSL algorithms show lower performance for the datasets with the imbalanced class distribution. In this paper, we introduce a task of class-imbalanced semi-supervised learning (CISSL), which refers to semi-supervised learning with class-imbalanced data. In doing so, we consider class imbalance in both labeled and unlabeled sets. First, we analyze existing SSL methods in imbalanced environments and examine how the class imbalance affects SSL methods. Then we propose Suppressed Consistency Loss (SCL), a regularization method robust to class imbalance. Our method shows better performance than the conventional methods in the CISSL environment. In particular, the more severe the class imbalance and the smaller the size of the labeled data, the better our method performs.

研究の動機と目的

• ラベル付きデータとラベルなしデータの両方に不均衡が存在するCISSL設定を動機づけ、形式化する。
• CISSL下で既存のSSL手法の挙動を分析し、不均衡がもたらす故障モードを特定する。
• CISSLを正則化するSuppressed Consistency Loss（SCL）を導入し、不均衡シナリオ全体でロバスト性を示す。
• CISSLを物体検出へ拡張し、ベースラインSSL手法よりも利得を示す。

提案手法

• CISSLと、ラベル付きデータとラベルなしデータの分布の平衡・不均衡を反映した標準的な実験設定を定義する。
• 玩具データセットを用いてPiモデルとMean TeacherをCISSL下で分析し、境界挙動を理解する。
• クラス頻度に反比例してSSLの整合性損失を重み付けする指数形のg(Nc)を取り入れたSuppressed Consistency Loss（SCL）を提案する。
• CIFAR-10とSVHNにおける様々なラベルなし不均衡タイプでMT+SCLがベースラインより改善することを実証する。
• SCLを物体検出タスク（SSD300/CSDフレームワーク）に拡張し、性能向上を示す。

実験結果

リサーチクエスチョン

• RQ1 標準のSSL手法は、ラベル付きデータとラベルなしデータの両方がクラス不均衡であるとき(CISSL)にどのように性能を発揮するか？
• RQ2 CISSL下でMean Teacherが一般にPiモデルより頑健である理由は何か、ターゲット更新はこの挙動にどう影響するか？
• RQ3 Suppressed Consistency Lossを導入することで、マイナークラスの劣化を抑制しCISSL全体の性能を改善できるか？
• RQ4 SCLを他のタスク（例えば物体検出）に拡張することでCISSLの利得は持続するか？

主な発見

• CISSL下では整合性正則化に基づくSSL手法はマイナークラスで劣化する；Mean Teacherは保守的なEMAターゲットのためPiモデルより頑健である。
• SCLはクラス頻度に反比例して整合性損失を重み付けすることでマイナークラスの境界歪みを軽減し、CIFAR-10とSVHNにおける不均衡なラベルなしデータ下での性能を向上させる。
• MT+SCLは複数のCISSL構成で一貫して最良またはほぼ最良の結果を達成し、特に不均衡とラベルなし不均衡が増加するほど顕著になる。
• アブレーション実験では、標準的なクラス不均衡学習損失（IN、Focal、CB）はCISSLでCEを必ずしも上回らず、CISSL特有の正則化の必要性を浮き彫りにする。
• 物体検出（CSDフレームワーク）へのSCL適用は、ベースラインのCSD手法より追加の利得を生む。