[論文レビュー] The game theoretic p-Laplacian and semi-supervised learning with few labels

Jeff Calder|arXiv (Cornell University)|Nov 28, 2017

Statistical Methods and Inference参考文献 26被引用数 5

ひとこと要約

本稿は、有限のラベル付きデータと無限のラベルなしデータの極限において、ゲーム理論的 $p$-ラプラシアンを用いたグラフベースの半教師付き学習の適切な定式化を確立する。連続極限におけるグラフ $p$-ラプラシアンの極限が重み付き連続的 $p$-ラプラシアン方程式に対応することを証明し、粘性解理論とグラフ上の最大原理を用いて、解が高確率で概ね Hölder 連続であることを示す。

ABSTRACT

We study the game theoretic p-Laplacian for semi-supervised learning on graphs, and show that it is well-posed in the limit of finite labeled data and infinite unlabeled data. In particular, we show that the continuum limit of graph-based semi-supervised learning with the game theoretic p-Laplacian is a weighted version of the continuous p-Laplace equation. We also prove that solutions to the graph p-Laplace equation are approximately Holder continuous with high probability. Our proof uses the viscosity solution machinery and the maximum principle on a graph.

研究の動機と目的

• ラベル付きデータが少ない状況で標準ラプラシアン正則化が不適切になる問題を解決すること。
• 有限のラベル付きデータと無限のラベルなしデータの下で、ゲーム理論的 $p$-ラプラシアンの連続極限における適切な定式化を確立すること。
• ラベルなし点の数が無限に近づく際の、グラフベースの $p$-ラプラシアン正則化が支配する極限PDEを同定すること。
• グラフ $p$-ラプラシアン方程式の解が高確率で概ね Hölder 連続であることを証明すること。

提案手法

• ゲーム理論的 $p$-ラプラシアンを用いてグラフ上の半教師付き学習を定式化し、$1 \leq p < \infty$ に対して $J_p(u) = \sum_{x,y} w_{xy}^p |u(x)-u(y)|^p$ の最小化により定義する。
• 連続極限におけるグラフ上での離散的 $p$-ラプラシアン作用素の解析に、粘性解理論を適用する。
• グラフ上の最大原理を用いて、振動を制御し、解の Hölder 連続性推定値を導出する。
• $n \to \infty$, $|\mathcal{O}|$ を固定する極限において、離散的グラフ作用素が重み付き連続的 $p$-ラプラシアン方程式に収束することを確立する。
• Borel-Cantelli の補題と集中推移の議論を用いて、グラフラプラシアンがその連続的対応物にほとんど確実に収束することを示す。
• テスト関数と弱形式化技術を用いて、離散的および連続的問題の解を比較し、$u_n$ が粘性解 $u$ に一様収束することを証明する。

実験結果

リサーチクエスチョン

• RQ1 ゲーム理論的 $p$-ラプラシアン正則化は、無限のラベルなしデータと有限のラベル付きデータの極限において、適切な定式化を持つ半教師付き学習アルゴリズムをもたらすか？
• RQ2 $p \in [1, \infty)$ の場合、グラフベースの $p$-ラプラシアン正則化の連続極限は何か？
• RQ3 ラベルなし点の数が増加する際、離散的 $p$-ラプラシアン方程式の解の正則性はどのように振る舞うか？
• RQ4 粘性解フレームワークを用いることで、グラフベースの学習アルゴリズムの収束性および連続性の性質を確立できるか？

主な発見

• グラフベースの $p$-ラプラシアン正則化の連続極限は、領域 $\mathbb{T}^d \setminus \mathcal{O}$ における重み付き $p$-ラプラシアン方程式 $\text{div}(f^2 |\nabla u|^{p-2} \nabla u) = 0$ に一致する。
• グラフ $p$-ラプラシアン方程式の解は、次元 $d$ とパラメータ $p$ に依存する $1 - d/p$ の Hölder 指数をもつ高確率で概ね Hölder 連続である。
• 条件 $\lim_{n\to\infty} \frac{n h_n^q}{\log n} = \infty$ の下で、離散解 $u_n$ は $n \to \infty$ のとき粘性解 $u$ に一様収束する。
• 粘性解 $u$ は一意的であり、ラベル付き集合 $\mathcal{O}$ で境界条件 $u = g$ を連続的に満たすため、連続極限における適切な定式化が確認される。
• Borel-Cantelli の補題と集中推移の議論により、グラフラプラシアン作用素がその連続的対応物にほとんど確実に収束することが確立された。