[논문 리뷰] Sinkhorn Label Allocation: Semi-Supervised Classification via Annealed Self-Training

Kai Sheng Tai, Peter Bailis외 1명|arXiv (Cornell University)|2021. 02. 17.

Machine Learning and Data Classification인용 수 9

한 줄 요약

이 논문은 분류기 예측을 비용으로 사용하여 예측값과 클래스 간의 최적 운반 문제로 레이블 할당을 공식화하는 새로운 반감독 학습 방법인 Sinkhorn 레이블 할당(SLA)을 제안한다. Sinkhorn 반복을 통해 효율적인 근사와 클래스 비율 및 레이블 질량에 대한 제약 조건을 통합함으로써, SLA는 자기학습 정확도를 향상시켜 CIFAR-10에서 클래스당 단 4개의 레이블 예제만으로도 평균 테스트 정확도 94.83%를 달성하며, FixMatch를 능가하고 25개의 레이블 예제를 사용한 FixMatch와 동등한 성능을 내는 데 성공했다.

ABSTRACT

Self-training is a standard approach to semi-supervised learning where the learner's own predictions on unlabeled data are used as supervision during training. In this paper, we reinterpret this label assignment process as an optimal transportation problem between examples and classes, wherein the cost of assigning an example to a class is mediated by the current predictions of the classifier. This formulation facilitates a practical annealing strategy for label assignment and allows for the inclusion of prior knowledge on class proportions via flexible upper bound constraints. The solutions to these assignment problems can be efficiently approximated using Sinkhorn iteration, thus enabling their use in the inner loop of standard stochastic optimization algorithms. We demonstrate the effectiveness of our algorithm on the CIFAR-10, CIFAR-100, and SVHN datasets in comparison with FixMatch, a state-of-the-art self-training algorithm. Our code is available at https://github.com/stanford-futuredata/sinkhorn-label-allocation.

연구 동기 및 목표

• 비감독 데이터에 대한 노이즈가 많은 레이블 할당으로 인해 반감독 학습에서 자기학습의 불안정성을 해결하기 위해.
• 신뢰도 임계값 설정 및 레이블 안내화와 같은 일반적인 히وري스틱을 원칙적인 최적화 프레임워크 내에 통합하기 위해.
• 스토하스틱 최적화 파이프라인에 통합 가능한 효율적이고 미분 가능한 레이블 할당을 가능하게 하기 위해.
• 유연한 상한 제약 조건을 통해 클래스 비율에 대한 사전 지식을 통합하기 위해.
• 저샷 반감독 학습 설정에서 일반화 능력과 강건성을 향상시키기 위해.

제안 방법

• 레이블 할당을 총 비용 $\sum_{ij} Q_{ij} C_{ij}(\theta) $ 를 최소화하는 볼록 최적 운반 문제로 공식화하며, 여기서 $ C_{ij}(\theta) = -\log p_\theta(j|x_i) $ 이다.
• 엔트로피 정규화를 사용한 최적 운반 문제의 해를 효율적으로 근사하기 위해 Sinkhorn-Knopp 알고리즘을 사용한다.
• 클래스 비율에 대한 상한을 강제하기 위해 스케일링 변수를 도입하여 레이블 분포 제어를 가능하게 한다.
• 훈련 반복 동안 점진적으로 할당된 레이블의 총 질량을 증가시키는 방식으로 레이블 안내화 전략을 적용한다.
• 운반 문제의 해에서 유도된 소프트 레이블을 의사 레이블로 사용하여 레이블 할당 단계를 자기학습 루프에 통합한다.
• 클래스 균형 및 상한 제약 조건을 포함한 다양한 제약 조건을 지원하여 클래스의 과도하거나 부족한 표현을 방지한다.

실험 결과

연구 질문

• RQ1 최적 운반 문제는 자기학습에서 레이블 할당을 위한 원칙적이고 효율적인 프레임워크를 제공할 수 있는가?
• RQ2 클래스 비율 제약 조건을 통합할 경우 저샷 반감독 학습에서 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ3 레이블 할당 질량의 안내화 전략이 훈련의 안정성과 정확도를 향상시키는가?
• RQ4 동일한 설정에서 SLA는 FixMatch와 같은 최첨단 방법과 비교해 어떻게 성능을 내는가?
• RQ5 제약 조건의 잘못된 지정과 정규화 파rameter의 영향은 SLA의 성능에 어떤 영향을 미치는가?

주요 결과

• SLA는 클래스당 레이블 예제가 단 4개인 CIFAR-10에서 평균 테스트 정확도 94.83% (±0.32%)를 달성했으며, 동일한 설정에서 FixMatch가 달성한 90.10% (±3.00%)를 능가했다.
• 클래스당 40개의 레이블 예제를 사용한 경우, 레이블 안내화를 적용한 SLA는 테스트 오차 5.17%를 기록했고, 이를 적용하지 않은 경우는 13.67%로, 점진적인 레이블 할당의 중요성을 입증했다.
• 클래스 비율 제약 조건을 제거하면 테스트 오차가 9.71% (±5.95%)로 증가하여, 잘 지정된 제약 조건이 성능 향상에 크게 기여함을 보여주었다.
• Sinkhorn 정규화 파rameter $\gamma = 100$ 가 근사 품질과 계산 비용 사이의 최적의 균형을 제공하여, 클래스당 40개의 레이블을 사용한 CIFAR-10에서 4.94%의 오차를 기록했다.
• 이 방법은 통합 최적화 프레임워크 내에서 레이블 안내화 및 신뢰도 임계값 설정 히وري스틱을 효과적으로 시뮬레이션한다.
• 실험 분석을 통해 불가능하거나 잘못 지정된 제약 조건은 모델 파라미터와 스케일링 변수에서 혼란스러운 진동을 유도함을 발견하여, 적응형 제약 조정의 잠재적 가능성을 시사했다.