[논문 리뷰] The game theoretic p-Laplacian and semi-supervised learning with few labels

Jeff Calder|arXiv (Cornell University)|2017. 11. 28.

Statistical Methods and Inference참고 문헌 26인용 수 5

한 줄 요약

이 논문은 유한한 레이블 데이터와 무한한 미레이블 데이터의 극한에서 게임 이론적 $p$-라플라시안을 사용한 그래프 기반 준지도 학습의 잘 정의됨을 확립한다. 연속 근사에서 그래프 $p$-라플라시안의 극한이 가중치가 부여된 연속적 $p$-라플라시안 방정식과 일치함을 증명하고, 점근적 근사에서 해가 높은 확률로 허더 연속임을 입증한다. 이는 점성 해 이론과 그래프에서의 최대 원리에 기반한다.

ABSTRACT

We study the game theoretic p-Laplacian for semi-supervised learning on graphs, and show that it is well-posed in the limit of finite labeled data and infinite unlabeled data. In particular, we show that the continuum limit of graph-based semi-supervised learning with the game theoretic p-Laplacian is a weighted version of the continuous p-Laplace equation. We also prove that solutions to the graph p-Laplace equation are approximately Holder continuous with high probability. Our proof uses the viscosity solution machinery and the maximum principle on a graph.

연구 동기 및 목표

• 레이블 데이터가 부족하고 미레이블 데이터가 풍부할 때 표준 라플라시안 정규화가 악조건임을 해결하기 위해.
• 유한한 레이블 데이터와 무한한 미레이블 데이터 조건에서 게임 이론적 $p$-라플라시안의 연속 근사에서 잘 정의됨을 확립하기 위해.
• 미레이블 점의 수가 무한으로 갈 때 그래프 기반 $p$-라플라시안 정규화를 지배하는 극한 PDE를 특성화하기 위해.
• 그래프 $p$-라플라시안 방정식의 해가 높은 확률로 약간의 허더 연속성을 띠며, 그 성질을 증명하기 위해.

제안 방법

• 게임 이론적 $p$-라플라시안을 사용하여 그래프에서 준지도 학습을 정식화하며, $1 \leq p < \infty$ 에 대해 $J_p(u) = \sum_{x,y} w_{xy}^p |u(x)-u(y)|^p$ 의 최소화로 정의된다.
• 연속 근사에서 이산 $p$-라플라시안 연산자의 행동을 분석하기 위해 점성 해 이론을 적용한다.
• 그래프에서의 최대 원리를 사용하여 진동을 제어하고 해의 허더 연속성 추정치를 유도한다.
• 유한한 레이블 수를 유지하면서 $n \to \infty$ 근사에서 이산 그래프 연산자가 가중치가 부여된 연속적 $p$-라플라시안 방정식으로 수렴함을 확립한다.
• 보렐-칸텔리 보조정리와 농도 분석 기법을 사용하여 그래프 라플라시안 연산자가 연속 근사와 거의 확실히 수렴함을 보여준다.
• 시험 함수와 약한 공식화 기법을 사용하여 이산 문제와 연속 문제의 해를 비교하고, $u_n$ 이 점성 해 $u$ 로 균일 수렴함을 증명한다.

실험 결과

연구 질문

• RQ1 유한한 레이블 데이터와 무한한 미레이블 데이터 조건에서 게임 이론적 $p$-라플라시안 정규화가 잘 정의된 준지도 학습 알고리즘을 제공하는가?
• RQ2 그래프 기반 $p$-라플라시안 정규화의 연속 근상은 $p \in [1, \infty)$ 일 때 어떤가?
• RQ3 미레이블 점의 수가 증가함에 따라 이산 $p$-라플라시안 방정식의 해의 정규성은 어떻게 변화하는가?
• RQ4 점성 해 프레임워크를 사용하여 그래프 기반 학습 알고리즘의 수렴성과 연속성 성질을 입증할 수 있는가?

주요 결과

• 그래프 기반 $p$-라플라시안 정규화의 연속 근사는 도메인 $\mathbb{T}^d \setminus \mathcal{O}$ 에서 $\text{div}(f^2 |\nabla u|^{p-2} \nabla u) = 0$ 의 형태를 가진 가중치가 부여된 $p$-라플라시안 방정식이다.
• 그래프 $p$-라플라시안 방정식의 해는 높은 확률로 약간의 허더 연속성을 띠며, 그 허더 지수는 차원 $d$ 와 매개변수 $p$ 에 따라 $1 - d/p$ 로 표현된다.
• 조건 $\lim_{n\to\infty} \frac{n h_n^q}{\log n} = \infty$ 하에, 이산 해 $u_n$ 이 $n \to \infty$ 일 때 점성 해 $u$ 로 균일 수렴한다.
• 점성 해 $u$ 는 유일하며, 레이블 집합 $\mathcal{O}$ 에서 경계 조건 $u = g$ 를 연속적으로 만족하여 연속 근사에서의 잘 정의됨을 확인한다.
• 보렐-칸텔리 보조정리와 농도 분석 기법을 통해 그래프 라플라시안 연산자가 연속 근사와 거의 확실히 수렴함을 입증하였다.