[논문 리뷰] Hamilton-Jacobi equations on graphs with applications to semi-supervised learning and data depth

Jeff Calder, Mahmood Ettehad|arXiv (Cornell University)|2022. 02. 17.

Topological and Geometric Data Analysis인용 수 5

한 줄 요약

이 논문은 그래프 기반의 거리 함수인 p-eikonal 방정식을 소개한다. 이는 그래프 상에서 해밀턴-자비 방정식을 풀어 최단경로 거리의 일반화로 작용한다. p=1일 때, 밀도 가중 지오데식 거리 추정기로서 이론적으로 강건하며, 연속체 극한에서 진짜 지오데식 거리로 수렴한다. 이는 MNIST, FashionMNIST, CIFAR-10에서 반감성 학습 및 데이터 깊이 분석에서 기존 최단경로 방법보다 정확도와 일관성 면에서 뛰어나다. 그래프의 변 변화에 대해서도 우수한 성능을 보인다.

ABSTRACT

Shortest path graph distances are widely used in data science and machine learning, since they can approximate the underlying geodesic distance on the data manifold. However, the shortest path distance is highly sensitive to the addition of corrupted edges in the graph, either through noise or an adversarial perturbation. In this paper we study a family of Hamilton-Jacobi equations on graphs that we call the $p$-eikonal equation. We show that the $p$-eikonal equation with $p=1$ is a provably robust distance-type function on a graph, and the $p o \infty$ limit recovers shortest path distances. While the $p$-eikonal equation does not correspond to a shortest-path graph distance, we nonetheless show that the continuum limit of the $p$-eikonal equation on a random geometric graph recovers a geodesic density weighted distance in the continuum. We consider applications of the $p$-eikonal equation to data depth and semi-supervised learning, and use the continuum limit to prove asymptotic consistency results for both applications. Finally, we show the results of experiments with data depth and semi-supervised learning on real image datasets, including MNIST, FashionMNIST and CIFAR-10, which show that the $p$-eikonal equation offers significantly better results compared to shortest path distances.

연구 동기 및 목표

• 실세계 데이터에서 간선 변화에 민감한 최단경로 그래프 거리의 강건성 부족 문제를 해결하기 위해.
• 연속체 극한에서 지오데식 근사가 유지되면서도 손상된 간선에 강건한 그래프 기반 거리 함수를 개발하기 위해.
• p-eikonal 방정식을 사용하여 데이터 깊이 및 반감성 학습의 이론적 渐近 일치성을 확립하기 위해.
• empirical적으로 p=1이 반감성 학습 및 실세계 이미지 데이터셋에서의 데이터 깊이 분석에서 최단경로 거리보다 뛰어난 성능을 보임을 입증하기 위해.
• 클래스 사전 정보를 통합함으로써 밀도 재가중이 효과적으로 활용될 수 있음을 보여주며, 이는 그렇지 않을 경우 성능 저하를 초래하기 때문이다.

제안 방법

• p-eikonal 방정식을 그래프 상에서 해밀턴-자비 방정식으로 정의하며, 간선을 따라 p-노름 차이를 포함하는 비선형 PDE로 기술한다.
• 최단경로 알고리즘과 유사한 시간 복잡도로 p-eikonal 방정식을 효율적으로 풀기 위해 수정된 패스트 마칭 방법을 사용한다.
• 점성 해 이론과 최대 원리(최대값 원리)를 활용하여, p-eikonal 해의 이산-연속체 수렴을 증명하며, 이는 연속체에서 밀도 가중 지오데식 거리 함수로 수렴함을 의미한다.
• 간선 가중치의 거듭제곱 법칙 변환을 통해 밀도 높은 영역을 선호하는 밀도 재가중을 적용함으로써 강건성과 정확도를 향상시킨다.
• 라벨 예측에서 가중 최소값을 통해 클래스 사전 정보를 통합함으로써, 더 약한 클러스터러빌리티 가정 하에서도 일관성을 향상시킨다.
• 이미지 데이터에서 그래프 품질을 향상시키기 위해 오토에코더(VAEs 및 AutoEncodingTransformations)로부터 학습된 잠재 특징을 사용해 그래프를 구축한다.

실험 결과

연구 질문

• RQ1 그래프 기반 거리 함수가 간선 변화에 강건하면서도 연속체 극한에서 진짜 지오데식 거리와 일致할 수 있는가?
• RQ2 p=1인 p-eikonal 방정식이 실세계 데이터에서 반감성 학습 및 데이터 깊이 분석에서 최단경로 거리보다 더 뛰어난 성능을 보일 수 있는가?
• RQ3 클래스 사전 정보를 통합할 경우, 그래프 기반 학습 방법에서 밀도 재가중의 유용성은 어떻게 변화하는가?
• RQ4 p-eikonal 방정식의 지수 p의 변화가 분류 정확도와 강건성에 미치는 영향은 무엇인가?
• RQ5 클래스 사전 정보를 사용할 경우, 더 약한 클러스터러빌리티 가정 하에서도 p-eikonal 방정식이 반감성 학습에서 渐近 일치성을 달성할 수 있는가?

주요 결과

• p=1인 p-eikonal 방정식은 그래프 변화에 대해 이론적으로 강건하며, MNIST, FashionMNIST, CIFAR-10에서 반감성 학습에서 최단경로 거리보다 뚜렷이 뛰어난 성능을 보인다.
• p-eikonal 방정식의 연속체 극한은 밀도 가중 지오데식 거리 함수로 수렴하며, 점성 해 이론을 통해 수치적 수렴 속도가 확립되었다.
• 반감성 학습에서 클래스 사전 정보를 통합한 p-eikonal 방법은 MNIST에서는 포isson 학습과 유사한 성능을 보이며, CIFAR-10에서는 오히려 이를 초월한다. 이는 클래스당 1~5개의 레이블만으로도 가능하다.
• 클래스 사전 정보가 없을 경우 밀도 재가중은 성능을 떨어뜨리지만, 사전 정보가 있으면 정확도가 크게 향상되어 이론적 이점이 검증된다.
• 클래스 사전 정보가 없을 경우 p=2는 p=1보다 정확도가 높아지지만, 사전 정보가 있을 경우 p=1이 가장 높은 성능를 보이며, 실질적으로 p=1에 사전 정보를 통합한 것이 최적임을 시사한다.
• 클러스터러빌리티 가정 하에서 반감성 학습에서 점근 일치성을 달성하며, 기존 그래프 라플라시안 기반 방법보다 더 단순한 증명이 가능하다.