[논문 리뷰] NP-Match: When Neural Processes meet Semi-Supervised Learning

Jianfeng Wang, Thomas Lukasiewicz외 4명|arXiv (Cornell University)|2022. 07. 03.

Machine Learning and Data Classification인용 수 6

한 줄 요약

NP-Match는 이미지 분류에 신경 과정(Neural Processes, NPs)을 통합한 혁신적인 준지도 학습 프레임워크를 제안하며, 향상된 가짜 레이블 품질과 효율적인 불확실성 추정을 위한 암묵적 커널 학습을 활용한다. MC 드롭아웃 기반 방법보다 훨씬 낮은 계산 비용으로 여러 벤치마크에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Semi-supervised learning (SSL) has been widely explored in recent years, and it is an effective way of leveraging unlabeled data to reduce the reliance on labeled data. In this work, we adjust neural processes (NPs) to the semi-supervised image classification task, resulting in a new method named NP-Match. NP-Match is suited to this task for two reasons. Firstly, NP-Match implicitly compares data points when making predictions, and as a result, the prediction of each unlabeled data point is affected by the labeled data points that are similar to it, which improves the quality of pseudo-labels. Secondly, NP-Match is able to estimate uncertainty that can be used as a tool for selecting unlabeled samples with reliable pseudo-labels. Compared with uncertainty-based SSL methods implemented with Monte Carlo (MC) dropout, NP-Match estimates uncertainty with much less computational overhead, which can save time at both the training and the testing phases. We conducted extensive experiments on four public datasets, and NP-Match outperforms state-of-the-art (SOTA) results or achieves competitive results on them, which shows the effectiveness of NP-Match and its potential for SSL.

연구 동기 및 목표

• 준지도 학습(SSL)에서 몬테카를로(Monte Carlo, MC) 드롭아웃 기반 방법의 계산 비효율성, 특히 불확실성 추정의 비효율성을 해결하기 위해.
• MC 드롭아웃의 더 효율적이고 효과적인 확률적 대안으로 신경 과정(Neural Processes, NPs)의 가능성을 탐색하기 위해.
• NPs가 학습한 커널을 통해 레이블이 부여된 데이터와 레이블이 없는 데이터 간의 암묵적 비교를 가능하게 하여 가짜 레이블의 품질을 향상시키기 위해.
• 다중 순차 전방 계산을 피하는 단일 전방 계산을 통한 계산 비용이 낮은 불확실성 추정 기법을 개발하기 위해.
• 대규모 이미지 분류 벤치마크, 특히 ImageNet에서 NP-Match의 유효성을 입증하기 위해.

제안 방법

• 딥 네ural 네트워크 위에 신경 과정(Neural Processes, NPs)을 통합하여 예측 분포를 모델링하고 단일 전방 계산을 통해 불확실성을 추정한다.
• NP 목표 함수의 표준 KL 발산을 기존의 불확실성 유도 스케일 기하 JS 발산으로 대체하여 낮은 품질의 특징에 대한 강건성을 향상시킨다.
• 일致성 정규화와 가짜 레이블링을 활용하며, 가짜 레이블은 신뢰할 수 있는 레이블이 없는 샘플을 선택하기 위해 불확실성 추정치를 통해 정제된다.
• NPs의 암묵적 커널 성질을 활용하여 레이블이 없는 데이터를 유사한 레이블이 있는 데이터와 비교함으로써 가짜 레이블 정확도를 향상시킨다.
• 입력당 단일 전방 계산을 통해 예측과 불확실성을 동시에 확보함으로써 MC 드롭아웃 대비 학습 및 추론 시간을 단축시킨다.
• 기대 불확실성 校정 오차(Expected Uncertainty Calibration Error, UCE)를 사용하여 불확실성 추정치를 校정함으로써 잘 校정된 불확실성 추정치를 보여준다.

실험 결과

연구 질문

• RQ1 신경 과정(Neural Processes, NPs)은 대규모 준지도 학습 이미지 분류에 효과적으로 적용되어 가짜 레이블의 품질을 향상시킬 수 있는가?
• RQ2 NP-Match는 더 낮은 계산 오버헤드로 MC 드롭아웃 기반 방법보다 더 신뢰할 수 있는 불확실성 추정치를 제공하는가?
• RQ3 제안된 불확실성 유도 스케일 기하 JS 발산은 표준 KL 발산 대비 NPs의 SSL에서의 강건성을 향상시킬 수 있는가?
• RQ4 표준 벤치마크에서 NP-Match는 최신 기술(SOTA) 결정론적 SSL 방법과 비교해 어떻게 성능을 내는가?
• RQ5 NP-Match는 ImageNet과 같은 대규모 데이터셋으로 일반화되어 최신 기술(SOTA) 성능을 달성할 수 있는가?

주요 결과

• NP-Match는 ImageNet에서 최신 기술(SOTA) 성능을 달성하여 대규모 데이터셋에서의 유효성을 입증했다.
• CIFAR-10, CIFAR-100, STL-10에서 NP-Match는 기존 최신 기술(SOTA) 결정론적 방법과 비교해 성능이 뛰어나거나 동등하다.
• NP-Match는 계산 비용을 크게 줄였다: 추론 시간은 전방 계산 횟수의 증가에 따라 느리게 증가하는 반면, MC 드롭아웃 기반 방법은 빠르게 증가한다.
• 모든 벤치마크에서 표준 KL 발산 대비 불확실성 유도 스케일 기하 JS 발산이 우수한 성능을 보였으며, 열악한 특징 표현에 대한 강건성을 향상시켰다.
• 낮은 기대 불확실성 校정 오차(UCE)를 통해 잘 校정된 불확실성 추정치를 생성했으며, 이는 신뢰도 있는 신뢰도 추정의 가능성을 시사한다.
• 모델의 불확실성은 예측 정확도와 상관관계가 있다: 평균 불확실성이 높은 클래스일수록 정확도가 낮으며, 이는 가짜 레이블링에 대한 신뢰도 기반 선택 기준으로서의 불확실성의 신뢰성을 검증한다.