[논문 리뷰] Rates of Convergence for Laplacian Semi-Supervised Learning with Low Labeling Rates

Jeff Calder, Dejan Slepčev외 1명|arXiv (Cornell University)|2020. 06. 04.

Statistical Methods and Inference인용 수 4

한 줄 요약

이 논문은 그래프 기반 정규화를 사용하여 낮은 레이블링 비율에서 라플라시안 준지도 학습의 수렴 속도를 분석한다. 비율 β ≪ ε²일 때는 레이블이 부여된 점에서의 피크(정점)를 보이는 비정상 상태(퇴화)가 발생하며, β ≫ ε²일 때는 연속 라플라스 방정식과의 일致성이 유지되며, 오차 한계는 로그 인자들을 제외한 O(εβ⁻¹ᐟ²)로 나타난다. 증명에는 무작위 보행과 Γ-수렴 도구를 사용한다.

ABSTRACT

We study graph-based Laplacian semi-supervised learning at low labeling rates. Laplacian learning uses harmonic extension on a graph to propagate labels. At very low label rates, Laplacian learning becomes degenerate and the solution is roughly constant with spikes at each labeled data point. Previous work has shown that this degeneracy occurs when the number of labeled data points is finite while the number of unlabeled data points tends to infinity. In this work we allow the number of labeled data points to grow to infinity with the number of labels. Our results show that for a random geometric graph with length scale $\varepsilon>0$ and labeling rate $β>0$, if $β\ll\varepsilon^2$ then the solution becomes degenerate and spikes form, and if $β\gg \varepsilon^2$ then Laplacian learning is well-posed and consistent with a continuum Laplace equation. Furthermore, in the well-posed setting we prove quantitative error estimates of $O(\varepsilonβ^{-1/2})$ for the difference between the solutions of the discrete problem and continuum PDE, up to logarithmic factors. We also study $p$-Laplacian regularization and show the same degeneracy result when $β\ll \varepsilon^p$. The proofs of our well-posedness results use the random walk interpretation of Laplacian learning and PDE arguments, while the proofs of the ill-posedness results use $Γ$-convergence tools from the calculus of variations. We also present numerical results on synthetic and real data to illustrate our results.

연구 동기 및 목표

• 레이블된 점의 수가 전체 데이터 크기와 함께 증가할 때 라플라시안 준지도 학습의 점근적 행동을 이해하는 것.
• 낮은 레이블링 비율 하에서 그래프 기반 학습의 퇴화된 상태와 잘 정의된 상태 사이의 임계 조건을 규명하는 것.
• 이산 그래프 해가 연속 PDE 해로 수렴할 때의 정량적 오차 추정을 수립하는 것.
• p-라플라시안 정규화로 분석을 확장하고 유사한 퇴화 조건을 도출하는 것.
• 이론적 결과를 합성 및 실재 데이터에 대한 수치 실험을 통해 검증하는 것.

제안 방법

• 데이터의 구조를 모델링하기 위해 커널 ηε(|xi−xj|)로 정의된 간선 가중치를 갖는 무작위 기하 그래프를 사용한다.
• 그래프 라플라스 방정식과 조화 연장 및 무작위 보행 기대값의 등가성에 기반한 라플라시안 학습을 분석한다.
• 무작위 보행 해석을 적용하여 레이블 전파 및 수렴에 대한 확률적 직관을 도출한다.
• 변분법의 Γ-수렴 기법을 사용하여 극한에서의 잘 정의됨과 일치성을 증명한다.
• PDE의 접근과 측도론적 수렴 도구(예: Lp 수렴 및 운반 지도)를 사용하여 오차 한계를 유도한다.
• 비국소 딜레르츠 에너지와 그 Γ-극한을 분석하여 p-라플라시안 정규화로 결과를 확장한다.

실험 결과

연구 질문

• RQ1 낮은 레이블링 비율에서 라플라시안 준지도 학습이 언제 퇴화되는가?
• RQ2 레이블링 비율 β와 그래프 길이 척도 ε 사이의 임계 스케일링은 무엇이며, 이는 퇴화된 상태와 일치하는 행동을 어떻게 분리하는가?
• RQ3 잘 정의된 상태에서 이산 그래프 해가 연속 PDE 해로 수렴하는 속도는 얼마인가?
• RQ4 p-라플라시안 정규화로 분석을 어떻게 확장할 수 있으며, 이에 해당하는 퇴화 임계값은 무엇인가?
• RQ5 이론적 수렴 결과는 합성 및 실재 데이터에 대한 수치 실험을 통해 검증될 수 있는가?

주요 결과

• β ≪ ε²일 때는 레이블이 부여된 점에서의 날카운 피크를 보이는 거의 일정한 해가 발생하며, 이는 퇴화 상태이다.
• β ≫ ε²일 때는 연속 라플라스 방정식과의 일致성이 유지되며, 잘 정의된 상태가 성립한다.
• 이산 해와 연속 PDE 해 사이의 오차는 로그 인자들을 제외한 O(εβ⁻¹ᐟ²)로 한정된다.
• p-라플라시안 정규화의 경우, β ≪ εᵖ일 때 퇴화가 발생하며, 이는 제곱항의 경우를 일반화한 것이다.
• 이론적 수렴은 합성 및 실재 데이터 세트에 대한 수치 실험을 통해 지지되며, 예측된 스케일링 행동을 확인한다.
• Γ-수렴과 무작위 보행 해석은 점근적 행동과 오차 추정의 엄밀한 정당성을 제공한다.