[논문 리뷰] Smooth Neighbors on Teacher Graphs for Semi-supervised Learning

Yucen Luo, Jun Zhu외 3명|arXiv (Cornell University)|2017. 11. 01.

Human Pose and Action Recognition참고 문헌 42인용 수 25

한 줄 요약

이 논문은 교사 그래프의 부드러운 이웃(SNTG)을 제안하며, 데이터 다양체 상의 인접한 데이터 포인트 간의 특징 부드러움을 강제하기 위해 교사 모델 예측에서 동적 그래프를 구성하는 반감독 학습 방법이다. 그래프 기반 정규화를 통해 추가 파rameter 없이 비라벨 데이터의 구조를 활용함으로써 SNTG는 최신 기술 수준의 성능을 달성하며, CIFAR-10(4,000개 라벨)에서 오차율을 9.89%로 감소시키고, MNIST(20개 라벨)에서 1.36%로 낮추며 라벨 노이즈에 대해 강한 내성성을 보인다.

ABSTRACT

The recently proposed self-ensembling methods have achieved promising results in deep semi-supervised learning, which penalize inconsistent predictions of unlabeled data under different perturbations. However, they only consider adding perturbations to each single data point, while ignoring the connections between data samples. In this paper, we propose a novel method, called Smooth Neighbors on Teacher Graphs (SNTG). In SNTG, a graph is constructed based on the predictions of the teacher model, i.e., the implicit self-ensemble of models. Then the graph serves as a similarity measure with respect to which the representations of "similar" neighboring points are learned to be smooth on the low-dimensional manifold. We achieve state-of-the-art results on semi-supervised learning benchmarks. The error rates are 9.89%, 3.99% for CIFAR-10 with 4000 labels, SVHN with 500 labels, respectively. In particular, the improvements are significant when the labels are fewer. For the non-augmented MNIST with only 20 labels, the error rate is reduced from previous 4.81% to 1.36%. Our method also shows robustness to noisy labels.

연구 동기 및 목표

• 기존의 편향 기반 반감독 학습 방법이 각 데이터 포인트의 국소적 편향만 고려하고 전체 데이터 구조(예: 클러스터 또는 다양체)를 忽略하는 한계를 해결하기 위해.
• 개별 포인트 주변뿐만 아니라 교사 모델 출력 기반으로 동적으로 학습된 그래프의 연결된 이웃 간에도 특징 부드러움을 강제하여 일반화 성능을 향상시키기 위해.
• 추가적인 계산 부담과 추가 모델 파rameter 없이 최소한의 계산 오버헤드로 최신 기술 수준의 성능을 달성하기 위해.
• 낮은 차원의 표현에서 라벨 노이즈에 강건하고 특징 공간의 클러스터링을 향상시키기 위해.

제안 방법

• 교사 모델의 예측을 사용하여 유사도 그래프를 구성하며, 간선은 비라벨 샘플 간의 예측 유사도를 나타낸다.
• 그래프를 구조적 인덕티브 바이어스로 활용하여, 연결된 이웃 간의 특징 일致성을 장려함으로써 학생 모델을 정규화한다.
• 대규모 미니배치를 효율적으로 처리하고 계산 비용을 감소시키기 위해 双중 스토하스틱 샘플링 알고리즘을 적용한다.
• 추가적인 모델 파rameter 없이 기존의 반감독 학습 프레임워크에 그래프 기반의 부드러움 정규화를 통합한다.
• 딥 네트워크의 계층적 특징 학습 능력을 활용하여 입력을 저차원 공간으로 매핑하고, 이곳에서 이웃의 부드러움을 강제한다.
• 연결된 노드 간 유사한 특징과 비이웃 간 이질적인 특징을 장려하는 그래프 라플라시안 정규화로 부드러움 손실을 수식화한다.

실험 결과

연구 질문

• RQ1 동적으로 구성된 그래프에서 인접한 포인트 간의 부드러움을 강제하면 단일 포인트 편향 방법을 초월해 반감독 학습 성능을 향상시킬 수 있는가?
• RQ2 교사가 생성한 그래프의 사용이 저라벨 환경에서 특징 클러스터링과 일반화에 어떻게 기여하는가?
• RQ3 기본적인 감독 학습 및 자기학습 기반 기준 대비 SNTG는 라벨 노이즈에 대해 얼마나 더 강건한가?
• RQ4 SNTG는 아키텍처 수정 없이 기존의 생성적 및 판별적 반감독 학습 모델에 원활하게 통합될 수 있는가?

주요 결과

• CIFAR-10에서 라벨이 4,000개 뿐인 조건에서도 SNTG는 최신 기술 수준의 오차율 9.89%를 달성하며 이전 방법들을 크게 앞서간다.
• MNIST에서는 라벨이 20개 뿐인 조건에서도 오차율을 4.81%에서 1.36%로 감소시켜 극도로 낮은 라벨 가용성에서도 뛰어난 성능을 보인다.
• 라벨 노이즈에 대해 강력한 내성성을 보이며, SVHN에서 90%의 라벨이 손상된 경우에도 SNTG는 93% 이상의 정확도를 유지하지만, 표준 학습 및 TempEns만으로는 정확도가 급격히 떨어진다.
• 특징 임bedding의 시각화 결과 SNTG는 특히 CIFAR-10과 MNIST에서 더 단단하고 밀도 높은 클래스 클러스터를 생성함으로써 더 나은 특징 분리 성능을 나타낸다.
• FM GAN에 적용했을 때 오차율을 18.63%에서 14.93%로 감소시키며, 아티팩트와 반복 현상을 줄여 샘플 품질을 향상시켰다.
• 계산 오버헤드가 극히 적고, 생성적 및 판별적 모델을 포함한 기존의 반감독 학습 프레임워크에 쉽게 통합될 수 있다.