[논문 리뷰] Poisson Learning: Graph Based Semi-Supervised Learning At Very Low Label Rates

Jeff Calder, Brendan Cook외 2명|Research Explorer (The University of Manchester)|2020. 06. 19.

Domain Adaptation and Few-Shot Learning인용 수 29

한 줄 요약

이 논문은 그래프 기반 준지도 학습의 새로운 방법인 포아송 학습을 제안한다. 이 방법은 레이블 할당을 소스/싱크 배치로 대체하여 그래프에서 포아송 방정식을 해결함으로써, 매우 낮은 레이블 비율에서도 뛰어난 안정성과 정확도를 달성한다. 이는 MNIST, FashionMNIST, CIFAR-10에서 라플라시안 학습 및 기타 최신 기법들을 능가하며, 특히 초저밀도 레이블 비율에서 뛰어난 성능을 보인다. 그래프 컷 향상 기법인 포아송 MBO를 통해 추가로 성능 향상을 이룬다.

ABSTRACT

We propose a new framework, called Poisson learning, for graph based semi-supervised learning at very low label rates. Poisson learning is motivated by the need to address the degeneracy of Laplacian semi-supervised learning in this regime. The method replaces the assignment of label values at training points with the placement of sources and sinks, and solves the resulting Poisson equation on the graph. The outcomes are provably more stable and informative than those of Laplacian learning. Poisson learning is efficient and simple to implement, and we present numerical experiments showing the method is superior to other recent approaches to semi-supervised learning at low label rates on MNIST, FashionMNIST, and Cifar-10. We also propose a graph-cut enhancement of Poisson learning, called Poisson MBO, that gives higher accuracy and can incorporate prior knowledge of relative class sizes.

연구 동기 및 목표

• 매우 낮은 레이블 비율에서 라플라시안 준지도 학습이 붕괴되는 문제를 해결하기 위해, 해가 局부적으로 피크를 형성하고 레이블이 효과적으로 전파되지 않는 현상을 분석한다.
• 저레이블 환경에서 라플라시안 학습의 불안정성과 낮은 일반화 성능의 근본 원인으로 큰 일정한 편향을 규명하고 이를 해결한다.
• 매우 낮은 레이블 수(예: 클래스당 몇 개의 레이블)에서도 잘 작동하는 효율적이고 증명 가능하게 더 안정적인 준지도 학습 방법을 개발한다.
• 클래스 크기의 사전 지식을 학습 과정에 통합하여, 특히 불균형 설정에서 정확도를 향상시킨다.
• 클래스 크기의 사전 지식을 반영하는 그래프 컷 향상 기법(Poisson MBO)을 제안하여 성능을 추가로 향상시키고, 부피 제약이 있는 분류를 가능하게 한다.

제안 방법

• 표준 라플라시안 학습 공식을 소스 및 싱크를 모델링하는 포아송 방정식으로 대체하여 정점에서 값 고정을 피한다.
• 그래프에서 이산 포아송 방정식을 푸른다: $ \mathcal{L}u = f $, 여기서 $ f $ 는 레이블된 노드에 지원되는 소스 항이며, $ \mathcal{L} $ 은 그래프 라플라시안이다.
• 랜덤 워크 해석을 통해 포아송 학습이 혼합 시간에 도달하기 이전의 워커들로부터 정보를 활용함으로써 초기 레이블 정보를 유지함을 보여준다.
• 이중 단계 알고리즘을 구현한다: 첫 번째로 반복적 선형 해법을 통해 포아송 방정식을 풀고, 두 번째로 해의 공간에서 최근접 이웃 분류를 통해 레이블을 할당한다.
• 클래스 크기 우선 지식을 강화하고 정확도를 향상시키기 위해 그래프 컷 접근법(Poisson MBO)을 도입하여 교차 최소화를 통해 최적화한다.
• K-최근접 이웃을 사용하여 그래프를 구성하고 가우시안 가중 커널을 적용하며, 가중치 행렬을 대칭화하고 대각선 항목을 0으로 설정하여 수렴 속도를 향상시킨다.

실험 결과

연구 질문

• RQ1 라플라시안 학습이 매우 낮은 레이블 비율에서 왜 치명적인 실패를 겪는가? 이 붕괴의 주요 원인은 무엇인가?
• RQ2 그래프 기반 준지도 학습을 포아송 문제로 재구성함으로써 저레이블 환경에서의 안정성과 레이블 전파 성능을 향상시킬 수 있는가?
• RQ3 포아송 학습의 랜덤 워크 해석은 라플라시안 학습과 어떻게 다를까? 이는 정보 전파 방식에 대해 무엇을 드러내는가?
• RQ4 포아송 학습의 그래프 컷 향상 기법은 클래스 크기의 사전 지식을 통합하여 분류 정확도를 추가로 향상시킬 수 있는가?
• RQ5 초저밀도 레이블 비율에서 포아송 학습은 $ p $-라플라시안, WNLL, MBO 기반 접근법과 같은 최신 기법들과 비교해 어떻게 성능을 냈는가?

주요 결과

• 모든 저레이블 비율에서 포아송 학습은 라플라시안 학습보다 유의미하게 높은 정확도를 달성하며, MNIST, FashionMNIST, CIFAR-10에서 몇 점수 포인트의 개선을 보였다.
• 포아송 MBO는 $ p $-라플라시안 및 부피 제약이 있는 MBO를 포함한 모든 다른 방법보다 뛰어난 성능을 보였으며, 특히 초저밀도 레이블 비율(예: 클래스당 1~5개)에서 두각을 나타냈다.
• 클래스당 5개의 레이블이 있는 MNIST에서 포아송 학습은 K-최근접 이웃 그래프 구성에서 K의 선택에 대해 매우 민감하지 않아 안정성을 입증했다.
• 불균형한 훈련 데이터에서 포아송 학습의 레이블 결정 규칙은 클래스 불균형을 보완하여 균형 잡힌 기준 모델보다 더 높은 정확도를 달성했다.
• 이 방법은 계산적으로 효율적이며 간단하게 구현 가능하며, 대각선 가중치를 0으로 설정함으로써 수렴 속도가 빨라진다.
• 수치 실험 결과 포아송 MBO는 클래스당 5개의 레이블에서 MNIST에서 90% 이상의 정확도를 달성했으며, 최근접 이웃 기반 기준 모델과 다른 최신 기법들을 모두 능가했다.