[論文レビュー] Variational limits of k-NN graph based functionals on data clouds

Nicolás García Trillos|arXiv (Cornell University)|Jul 3, 2016

Advanced Clustering Algorithms Research参考文献 28被引用数 3

ひとこと要約

本稿では、$\log n \ll k_n \ll n$ のスケーリング条件下で、k-NNグラフに基づく関数的（例えばチーリングカット）の漸近的一貫性を、連続的変分問題への$\Gamma$-収束を証明することによって厳密に確立する。離散的グラフ最適化問題の解が確率的に1に近づいて連続的変分問題の解に収束することを示し、k-NNに基づくクラスタリングおよび学習手法の理論的裏付けを提供する。

ABSTRACT

This paper studies the large sample asymptotics of data analysis procedures based on the optimization of functionals defined on $k$-NN graphs on point clouds. The paper is framed in the context of minimization of balanced cut functionals, but our techniques, ideas and results can be adapted to other functionals of relevance. We rigorously show that provided the number of neighbors in the graph $k:=k_n$ scales with the number of points in the cloud as $n \gg k_n \gg \log(n)$, then with probability one, the solution to the graph cut optimization problem converges towards the solution of an analogue variational problem at the continuum level.

研究の動機と目的

• k-NNグラフを用いたグラフベースのデータ解析手順の大標本漸近的性質を厳密に分析すること。
• 離散的グラフカット最適化の解が、その連続的類似物に収束することを確立すること。
• k-NNに基づくクラスタリングおよび正則化手法の統計的一貫性の理論的基盤を提供すること。
• よりよく研究されている$\varepsilon$-グラフとは異なり、k-NNグラフについては理論的結果が不足しているという点を補うこと。
• 必要な$k_n$のスケーリング条件が次元に依存しないことを示し、高次元データへの応用可能性を高めること。

提案手法

• k-NNグラフ上のスケーリングされたグラフトータルバリエーション関数的の極限を分析するために$\Gamma$-収束を用いる。
• 関数$u$がデータ点上で定義される場合、グラフトータルバリエーション（GTV）関数的を$\sum_{\mathbf{x}_i \sim_k \mathbf{x}_j} |u(\mathbf{x}_i) - u(\mathbf{x}_j)|$ として定義する。
• GTVの$\Gamma$-極限が、連続的レベルで重み付き局所トータルバリエーション関数的として得られることを確立する。
• 非一様帯域幅を持つカーネルを構築し、それとデータ密度に関連付けることで、確率的関数的GTVのバイアスを分析する。
• コンパactsおよび回復列の議論を、$C_c^\infty$関数および指示関数を用いて、収束を証明する。
• 有限パーミータ集合の減少境界のコンパクト部分集合の上での対角線的議論を用いて、Hausdorff測度近似の収束を処理する。

実験結果

リサーチクエスチョン

• RQ1 k-NNグラフに基づく離散的最適化問題の解が、連続的変分問題に収束する条件は何か？
• RQ2 $k_n$のスケーリングが、スペクトルクラスタリングやチーリングカットなどのグラフベースクラスタリング手法の一貫性にどのように影響するか？
• RQ3 k-NNグラフ上のグラフトータルバリエーションの$\Gamma$-極限は、連続的レベルで重み付きトータルバリエーション関数的として特徴付けられるか？
• RQ4 大標本一貫性の文脈において、なぜ$k$-NN構築法が$\varepsilon$-グラフよりも理論的に望ましいのか？
• RQ5 必要な$k_n$のスケーリング条件はデータ次元に依存するか？

主な発見

• 確率1で、k-NNグラフ上の離散的チーリングカットの最小化子は、$n \to \infty$ のとき、連続的チーリングカット関数的の最小化子に収束する。
• スケーリングされたグラフトータルバリエーション関数的 $GTV_{n,k_n}$ の$\Gamma$-極限は、$\frac{\sigma_\eta}{\alpha_d^{1+1/d}} TV(u; \rho^{1-1/d})$ の形をした重み付き局所トータルバリエーション関数的である。
• 収束は、次元に依存しないスケーリング条件 $\log n \ll k_n \ll n$ の下で成立し、次元の多様性に強く頑健である。
• 指示関数$u = \mathbf{1}_A$の回復列は、離散的指示関数から構築可能であり、パーティションに基づく問題の一致性を保証する。
• 局所近傍サイズの下界を用いて、$\varepsilon$-グラフトータルバリエーションとの比較により、関数列のコンパクト性が確立される。
• 証明は、有限パーミータ集合の減少境界のコンパクト部分集合の上での対角線的構成に依存しており、Hausdorff測度近似の収束を保証する。