[논문 리뷰] Robust Deep Semi-Supervised Learning: A Brief Introduction

Lan-Zhe Guo, Zhi Zhou외 1명|arXiv (Cornell University)|2022. 02. 12.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 비정상적인 데이터를 포함한 실세계 환경에서 더 신뢰할 수 있는 SSL 시스템을 구축하기 위한 실용적 연구 방향을 제시하기 위해, 비정상적인 데이터의 분포, 특징, 레이블 오염이라는 세 가지 핵심 내구성 위협을 식별하고 분류함으로써 강건한 딥 세미지도학습(SSL)을 위한 공식적 프레임워크를 제안한다. 통합된 분류 체계를 제시하고 최근의 관련 기법들을 검토하며, 실질적인 데이터 오염 상황에서 더 강건한 SSL 시스템을 구축하기 위한 실천 가능한 연구 방향을 제시한다.

ABSTRACT

Semi-supervised learning (SSL) is the branch of machine learning that aims to improve learning performance by leveraging unlabeled data when labels are insufficient. Recently, SSL with deep models has proven to be successful on standard benchmark tasks. However, they are still vulnerable to various robustness threats in real-world applications as these benchmarks provide perfect unlabeled data, while in realistic scenarios, unlabeled data could be corrupted. Many researchers have pointed out that after exploiting corrupted unlabeled data, SSL suffers severe performance degradation problems. Thus, there is an urgent need to develop SSL algorithms that could work robustly with corrupted unlabeled data. To fully understand robust SSL, we conduct a survey study. We first clarify a formal definition of robust SSL from the perspective of machine learning. Then, we classify the robustness threats into three categories: i) distribution corruption, i.e., unlabeled data distribution is mismatched with labeled data; ii) feature corruption, i.e., the features of unlabeled examples are adversarially attacked; and iii) label corruption, i.e., the label distribution of unlabeled data is imbalanced. Under this unified taxonomy, we provide a thorough review and discussion of recent works that focus on these issues. Finally, we propose possible promising directions within robust SSL to provide insights for future research.

연구 동기 및 목표

• 실세계 응용에서 비정상적인 비라벨 데이터에 노출되었을 때 성능이 저하되는 세미지도학습(SSL) 모델의 심각한 격차를 해결한다.
• 머신러닝 관점에서 강건한 SSL의 정의를 공식화하여 연구 활동을 통합한다.
• 비라벨 데이터의 분포, 특징, 레이블 오염이라는 세 가지로 명확히 구분된 내구성 위협을 분류한다.
• 각 오염 유형을 대상으로 한 최근의 접근 방식을 체계적으로 검토하여 강점, 한계점 및 열린 과제를 규명한다.
• 실제 구현 환경에서 다양한 오염 상황에 강건하고 신뢰할 수 있는 딥 SSL 모델을 개발하기 위한 유망한 향후 연구 방향을 제안한다.

제안 방법

• 모델의 내구성 평가에 일관된 기반을 마련하기 위해 강건한 SSL의 공식적 정의를 도입한다.
• 내구성 위협을 세 가지 유형으로 분류한다: 라벨 데이터와 비라벨 데이터 간의 분포 불일치, 비라벨 예제의 특징에 대한 적대적 오염, 비라벨 데이터의 레이블 분포 불균형.
• 분포 보정, 적대적 훈련, 클래스 재가중 기법 등을 활용해 각 오염 유형을 다루는 최근의 기법들을 조사한다.
• 통합된 분류 체계를 활용해 기존 접근 방식을 비교·대조하고 설계 선택 사항과 가정을 부각시킨다.
• 현재 기법들이 다중 또는 병합된 오염 유형을 동시에 다룰 때의 한계를 분석한다.
• 일반화 가능하고 다중 위협에 강건한 SSL 알고리즘 개발을 목표로 향후 연구 방향을 제안한다.

실험 결과

연구 질문

• RQ1 비라벨 데이터가 오염되어 있을 경우, 강건한 딥 세미지도학습의 내구성은 어떻게 공식적으로 정의하고 측정할 수 있는가?
• RQ2 비라벨 데이터가 오염되었을 때 기존 SSL 방법에서 내구성 실패의 주요 원인은 무엇인가?
• RQ3 비라벨 데이터의 분포 이탈, 특징 수준의 적대적 공격, 레이블 불균형이 각각 SSL 성능에 어떻게 영향을 미치는가?
• RQ4 각 오염 유형을 효과적으로 완화하는 데 성공한 기존 기법은 무엇이며, 그 기반 가정과 한계점은 무엇인가?
• RQ5 다양하고 현실적인 데이터 오염 상황에서 성능이 유지되는 SSL 모델을 구축하기 위해 가장 유망한 연구 방향은 무엇인가?

주요 결과

• 강건한 SSL는 비라벨 데이터의 분포, 특징 또는 레이블 차원에서 오염이 발생하더라도 성능을 유지할 수 있는 능력으로 공식 정의된다.
• 비라벨 데이터가 라벨 데이터와 다른 분포에서 유래할 경우 발생하는 분포 오염은, 도메인 이탈을 고려하지 않을 경우 특히 SSL 성능을 심각하게 떨어뜨린다.
• 비라벨 입력에서 발생하는 적대적 편향과 같은 특징 수준의 오염은 모델 예측을 오도하고, 핵심적인 SSL 원리인 일관성 정규화를 약화시킬 수 있다.
• 비라벨 데이터의 레이블 분포 불균형은 특히 정규화되지 않은 재가중 기법을 사용할 경우 편향된 모델 업데이트를 유도한다.
• 기존 기법들은 각 오염 유형을 별도로 다루는 데서는 다양한 성공을 거두지만, 다중 위협을 동시에 다루는 경우가 거의 없다.
• 제안된 분류 체계는 기법 간 비교를 더 명확히 하고, 향후 연구에서 통합적이고 다중 위협에 강건한 SSL 프레임워크 개발의 필요성을 부각시킨다.