[論文レビュー] Robust Deep Semi-Supervised Learning: A Brief Introduction

Lan-Zhe Guo, Zhi Zhou+1 more|arXiv (Cornell University)|Feb 12, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本論文は、ラベルなしデータにおける分布、特徴、ラベルの破損という3つの主要な耐性の脅威を特定・分類することで、ロバストなディープ半教師付き学習（SSL）の形式的フレームワークを導入する。統一された分類法を提示し、最近のこれらの問題に対処する手法をレビューし、不完全なデータを伴う現実世界の設定でより信頼性の高いSSLシステムを構築するための実行可能な研究方向性を提示する。

ABSTRACT

Semi-supervised learning (SSL) is the branch of machine learning that aims to improve learning performance by leveraging unlabeled data when labels are insufficient. Recently, SSL with deep models has proven to be successful on standard benchmark tasks. However, they are still vulnerable to various robustness threats in real-world applications as these benchmarks provide perfect unlabeled data, while in realistic scenarios, unlabeled data could be corrupted. Many researchers have pointed out that after exploiting corrupted unlabeled data, SSL suffers severe performance degradation problems. Thus, there is an urgent need to develop SSL algorithms that could work robustly with corrupted unlabeled data. To fully understand robust SSL, we conduct a survey study. We first clarify a formal definition of robust SSL from the perspective of machine learning. Then, we classify the robustness threats into three categories: i) distribution corruption, i.e., unlabeled data distribution is mismatched with labeled data; ii) feature corruption, i.e., the features of unlabeled examples are adversarially attacked; and iii) label corruption, i.e., the label distribution of unlabeled data is imbalanced. Under this unified taxonomy, we provide a thorough review and discussion of recent works that focus on these issues. Finally, we propose possible promising directions within robust SSL to provide insights for future research.

研究の動機と目的

• 現実世界の応用において、ラベルなしデータに汚染が生じた場合にモデル性能が低下するという半教師付き学習（SSL）における重要なギャップを埋める。
• 機械学習の観点からロバストなSSLの定義を形式化し、研究活動の統一を図る。
• ラベルなしデータにおける分布、特徴、ラベルの破損という3つの明確に区別できる耐性の脅威に分類する。
• 各破損タイプに焦点を当てた最近のアプローチを体系的にレビューし、強み、限界、未解決の課題を特定する。
• 実用的導入においても耐性を保つことができるディープSSLの信頼性を高めるための有望な今後の研究方向性を提案する。

提案手法

• モデルの耐性を一貫して評価できる基盤を確立するため、ロバストなSSLの形式的定義を導入する。
• 耐性の脅威を3つのカテゴリーに分類する：ラベル付きデータとラベルなしデータの間での分布不一致、ラベルなし例の特徴に対する敵対的破損、ラベルなしデータにおけるラベル分布の不均衡。
• 分布整合性、敵対的訓練、クラス再重み付けなどの技術を用いて、3つの破損タイプのそれぞれに対処する最近の手法をサーベイする。
• 統一された分類法を用いて、既存のアプローチを比較・対比し、設計選択と仮定を強調する。
• 複数または複合的な破損タイプを同時に処理する現行手法の限界を分析する。
• 一般化可能で、複数の脅威に耐性を持つSSLアルゴリズムの開発に焦点を当てた今後の研究方向性を提案する。

実験結果

リサーチクエスチョン

• RQ1 汚染されたラベルなしデータが存在する状況下で、ディープ半教師付き学習における耐性を形式的に定義・測定する方法は何か？
• RQ2 ラベルなしデータが汚染された場合、既存のSSL手法が耐性の失敗を起こす主な要因は何か？
• RQ3 ラベルなしデータにおける分布シフト、特徴レベルの敵対的攻撃、ラベルの不均衡が、それぞれSSL性能にどのように影響を与えるか？
• RQ4 各破損タイプを効果的に緩和する既存の手法は何か？それらの背後にある仮定と限界は何か？
• RQ5 複数の現実的で複合的なデータ破損シナリオ下でも耐性を保つSSLモデルを構築するうえで、最も有望な研究方向性は何か？

主な発見

• ロバストなSSLは、ラベルなしデータが分布、特徴、またはラベルの次元で汚染されても、モデルが性能を維持できる能力として形式的に定義される。
• ラベル付きデータと異なる分布からのラベルなしデータ（分布シフト）は、特にドメインシフトが考慮されない場合、SSL性能を著しく低下させる。
• ラベルなし入力における敵対的摂動といった特徴レベルの破損は、モデルの予測を誤導し、SSLの核となる一貫性正則化の原則を損なうおそれがある。
• ラベルなしデータにおけるラベル分布の不均衡は、適切な再重み付けが行われない限り、偏ったモデル更新を引き起こす。
• 既存の手法は個々の破損タイプに対しては一定の成功を収めているが、複数の脅威を同時に処理するものはほとんどない。
• 提案された分類法により、手法の明確な比較が可能となり、今後の研究において統合的で複数の脅威に耐性を持つSSLフレームワークの必要性が浮き彫りになった。