[논문 리뷰] Variational limits of k-NN graph based functionals on data clouds

Nicolás García Trillos|arXiv (Cornell University)|2016. 07. 03.

Advanced Clustering Algorithms Research참고 문헌 28인용 수 3

한 줄 요약

이 논문은 $\log n \ll k_n \ll n$ 스케일링 조건 하에서 k-NN 그래프 기반 기능들, 예를 들어 체거 컷과 같은 기능들의 대표적인 표본 일致성을 엄밀하게 확립한다. 이는 연속체 변분 문제로의 $\Gamma$-수렴을 증명함으로써 이루어지며, 이는 k-NN 기반 클러스터링 및 학습 방법의 이론적 근거를 제공한다.离산 그래프 최적화 문제의 해들이 거의 확실히 연속체 변분 문제의 해로 수렴함을 보여준다.

ABSTRACT

This paper studies the large sample asymptotics of data analysis procedures based on the optimization of functionals defined on $k$-NN graphs on point clouds. The paper is framed in the context of minimization of balanced cut functionals, but our techniques, ideas and results can be adapted to other functionals of relevance. We rigorously show that provided the number of neighbors in the graph $k:=k_n$ scales with the number of points in the cloud as $n \gg k_n \gg \log(n)$, then with probability one, the solution to the graph cut optimization problem converges towards the solution of an analogue variational problem at the continuum level.

연구 동기 및 목표

• k-NN 그래프를 사용한 그래프 기반 데이터 분석 절차의 대표적 표본 점근적 성질을 엄밀히 분석하기 위해.
• 이산 그래프 컷 최적화 해가 그 연속체 대응체로 수렴함을 확립하기 위해.
• k-NN 기반 클러스터링 및 정규화 방법의 통계적 일치성에 대한 이론적 기초를 제공하기 위해.
• ε-그래프에 비해 더 널리 연구된 바가 없는 k-NN 그래프에 대한 이론적 결과의 부족을 보완하기 위해.
• 필요한 $k_n$의 스케일링 조건이 차원에 종속되지 않음을 보여주어 고차원 데이터에 대한 적용 가능성을 높이기 위해.

제안 방법

• k-NN 그래프에 정의된 스케일링된 그래프 총변동 기능들의 극한을 분석하기 위해 $\Gamma$-수렴을 사용한다.
• 함수 $u$가 데이터 포인트에 정의될 때 그래프 총변동(GTV) 기능을 $\sum_{\mathbf{x}_i \sim_k \mathbf{x}_j} |u(\mathbf{x}_i) - u(\mathbf{x}_j)|$로 정의한다.
• GTV의 $\Gamma$-극한이 연속체 수준에서 가중 국소 총변동 기능으로서 나타남을 확립한다.
• 비균일 대역폭을 갖는 커널을 구성하고 데이터 밀도와 연관시킴으로써 무작위 기능인 GTV의 편향을 분석한다.
• 수렴을 증명하기 위해 $C_c^\infty$ 함수와 지시 함수를 사용하여 컴actness 및 복구 수열 추론을 수행한다.
• 유한 둘레 집합의 축소 경계의 컴act 부분집합들에 대한 대각선 추론을 사용하여 하우스도르프 측도 근사의 수렴을 다룬다.

실험 결과

연구 질문

• RQ1 k-NN 그래프 기반 이산 최적화 문제의 해가 연속체 변분 문제로 수렴하는 조건은 무엇인가?
• RQ2 $k_n$의 스케일링이 스펙트럴 클러스터링 또는 체거 컷과 같은 그래프 기반 클러스터링 방법의 일치성에 어떻게 영향을 미치는가?
• RQ3 k-NN 그래프에서의 그래프 총변동의 $\Gamma$-극한은 연속체 수준에서 가중 총변동 기능으로 특성화될 수 있는가?
• RQ4 왜 k-NN 구축 방식이 대표적 표본 일치성의 맥락에서 $\varepsilon$-그래프보다 이론적으로 유리한가?
• RQ5 필요한 $k_n$의 스케일링 조건은 데이터 차원에 의존하는가?

주요 결과

• 확률 1로, k-NN 그래프에서의 이산 체거 컷 최소화자는 $n \to \infty$일 때 연속체 체거 컷 기능의 최소화자로 수렴한다.
• 스케일링된 그래프 총변동 기능 $GTV_{n,k_n}$의 $\Gamma$-극한은 $\frac{\sigma_\eta}{\alpha_d^{1+1/d}} TV(u; \rho^{1-1/d})$ 형태의 가중 국소 총변동 기능으로 나타난다.
• 이 수렴은 $\log n \ll k_n \ll n$ 조건 하에서 성립하며, 이는 차원에 종속되지 않으며 데이터 차원성에 대해 강건하다.
• 지시 함수 $u = \mathbf{1}_A$의 복구 수열은 이산 지시 함수로부터 구성될 수 있어, 분할 기반 문제의 일致성을 보장한다.
• 지역 이웃 크기의 하한을 활용하여 $\varepsilon$-그래프 총변동과의 비교를 통해 함수 수열의 컴팩트성을 확립한다.
• 증명은 끝내기 둘레 집합의 축소 경계의 컴act 부분집합들에 대한 대각선 구성에 의존하며, 하우스도르프 측도 근사의 수렴을 보장한다.