[논문 리뷰] Algorithms for $\ell_p$-based semi-supervised learning on graphs

Mauricio Flores Rios, Jeff Calder외 1명|arXiv (Cornell University)|2019. 01. 15.

Statistical Methods and Inference참고 문헌 55인용 수 10

한 줄 요약

이 논문은 $p > 2$ 인 그래프의 $p$-라플라시안을 사용하여 $\ell_p$-기반의 반감독 학습을 효율적으로 해결하기 위한 알고리즘을 제안한다. 이는 소수의 레이블이 존재하는 경우의 극단화를 피하는 데 기여한다. $k$-최근접 이웃 그래프에서 이산-연속 수렴성을 확립하여, 리프시츠 학습($p = \infty$)이 랜덤 기하 그래프와는 달리 데이터 분포 정보를 유지함을 보여주며, 확장 가능하고 분포 인식 가능한 반감독 학습을 위한 견고한 프레임워크를 제공한다.

ABSTRACT

We develop fast algorithms for solving the variational and game-theoretic $p$-Laplace equations on weighted graphs for $p>2$. The graph $p$-Laplacian for $p>2$ has been proposed recently as a replacement for the standard ($p=2$) graph Laplacian in semi-supervised learning problems with very few labels, where the minimizer of the graph Laplacian becomes degenerate. We present several efficient and scalable algorithms for both the variational and game-theoretic formulations, and present numerical results on synthetic data and real data that illustrate the effectiveness of the $p$-Laplacian formulation for semi-supervised learning with few labels. We also prove new discrete to continuum convergence results for $p$-Laplace problems on $k$-nearest neighbor ($k$-NN) graphs, which are more commonly used in practice than random geometric graphs. Our analysis shows that, on $k$-NN graphs, the $p$-Laplacian retains information about the data distribution as $p o \infty$ and Lipschitz learning ($p=\infty$) is sensitive to the data distribution. This situation can be contrasted with random geometric graphs, where the $p$-Laplacian \emph{forgets} the data distribution as $p o \infty$. Finally, we give a general framework for proving discrete to continuum convergence results in graph-based learning that only requires pointwise consistency and a type of monotonicity.

연구 동기 및 목표

• 소수의 레이블만 존재할 때 표준 $p=2$ 그래프 라플라시안의 극단화 문제를 해결하기 위해.
• $p > 2$ 인 $p$-라플라시안의 변분형 및 게임 이론적 해법에 대해 빠르고 확장 가능한 알고리즘을 개발하기 위해.
• $k$-최근접 이웃(k-NN) 그래프에서 $p$-라플라시안 문제의 이산-연속 수렴성을 확립하기 위해.
• $k$-NN 그래프에서 $p \to \infty$일 때 $p$-라플라시안 학습이 기저 데이터 분포 정보를 유지하는지 보여주기 위해. 이는 랜덤 기하 그래프와는 다름.
• 지점별 일致성과 단조성 조건을 요구하는 일반적인 프레임워크를 통해 그래프 기반 학습에서의 수렴성을 증명하기 위해.

제안 방법

• 가중치가 부여된 그래프에서 $p > 2$ 인 $p$-라플라시안의 변분형 수식을 제안하며, 기울기의 이산 $\ell_p$-노름 최소화를 목적으로 한다.
• 고정점 반복과 비선형 가우스-자이델 방법을 사용하여 $p$-라플라시안의 효율적인 수치 해법을 개발하여 확장성 확보.
• 수치적 해법의 안정성과 강건성을 높이기 위해 $p$-라플라시안을 최소-최대 문제로 게임 이론적 수식으로 제안.
• 지점별 일치성과 단조성에 기반한 일반적 프레임워크를 사용하여 $k$-NN 그래프에서 이산 $p$-라플라시안의 연속 $p$-라플라시안으로의 수렴성을 분석.
• $k$-NN 그래프에서 $p \to \infty$일 때 $p$-라플라시안이 데이터 분포 정보를 유지함을 증명. 이는 랜덤 기하 그래프와는 다름.
• 그래프 연산자의 지점별 일치성과 단조성 조건만 요구하는 일반적인 수렴 프레임워크를 구축.

실험 결과

연구 질문

• RQ1 가중치가 부여된 그래프에서 $p > 2$ 인 $p$-라플라시안 문제를 효율적이고 수치적으로 안정적으로 확장 가능하게 해결할 수 있는 방법은 무엇인가?
• RQ2 $k$-최근접 이웃 그래프에서 $p \to \infty$일 때 $p$-라플라시안이 데이터 분포 정보를 유지하는가?
• RQ3 $k$-NN 그래프에서의 $p$-라플라시안 행동이 랜덤 기하 그래프에서의 행동과 $p \to \infty$ 근처에서 어떻게 다를까?
• RQ4 최소한의 가정으로 그래프 기반 학습에서의 이산-연속 수렴성을 보장하는 일반적 프레임워크를 구축할 수 있는가?
• RQ5 $p$-라플라시안 기반 반감독 학습의 실수 및 합성 데이터에서의 경험적 성능은 어떻게 되는가? 특히 매우 소수의 레이블이 존재할 경우.

주요 결과

• 제안된 그래프 기반 $p$-라플라시안 알고리즘은 효율적이고 확장 가능하여, 소수의 레이블이 존재하는 반감독 학습에서 실용적으로 활용할 수 있다.
• $k$-최근접 이웃 그래프에서 $p \to \infty$일 때 $p$-라플라시안은 데이터 분포 정보를 유지하며, 리프시츠 학습이 기저 데이터 구조에 민감함을 보여준다.
• $k$-NN 그래프와는 달리, 랜덤 기하 그래프에서 $p \to \infty$일 때 $p$-라플라시안은 데이터 분포 정보를 상실함을 보여주며, 행동 방식의 핵심적 차이점을 드러낸다.
• 합성 및 실수 데이터에서의 수치 결과는, $p$-라플라시안 설정이 소수의 레이블이 존재할 때 표준 $p=2$ 그래프 라플라시안보다 성능이 뛰어남을 보여준다.
• 논문에서 개발한 일반 수렴 프레임워크는 광범위한 그래프 기반 학습 문제에 적용 가능하며, 지점별 일치성과 단조성 조건만 요구한다.
• 이산-연속 수렴 결과는 $k$-NN 그래프에서의 $p$-라플라시안 문제에 대해 확립되었으며, 실용적 적용에 대한 이론적 근거를 제공한다.