[論文レビュー] Hamilton-Jacobi equations on graphs with applications to semi-supervised learning and data depth

Jeff Calder, Mahmood Ettehad|arXiv (Cornell University)|Feb 17, 2022

Topological and Geometric Data Analysis被引用数 5

ひとこと要約

本稿では、グラフ上のハミルトニアン・ジャコビ方程式を解くことで、最短経路距離を一般化する、頑健なグラフベースの距離関数であるp-eikonal方程式を導入する。p=1の場合、密度重み付き測地的距離推定器を提供し、連続極限において真の測地的距離に収束する。これは、MNIST、FashionMNIST、CIFAR-10における半教師あり学習およびデータ深度の分野で、従来の最短経路法よりも精度と一貫性に優れる。

ABSTRACT

Shortest path graph distances are widely used in data science and machine learning, since they can approximate the underlying geodesic distance on the data manifold. However, the shortest path distance is highly sensitive to the addition of corrupted edges in the graph, either through noise or an adversarial perturbation. In this paper we study a family of Hamilton-Jacobi equations on graphs that we call the $p$-eikonal equation. We show that the $p$-eikonal equation with $p=1$ is a provably robust distance-type function on a graph, and the $p o \infty$ limit recovers shortest path distances. While the $p$-eikonal equation does not correspond to a shortest-path graph distance, we nonetheless show that the continuum limit of the $p$-eikonal equation on a random geometric graph recovers a geodesic density weighted distance in the continuum. We consider applications of the $p$-eikonal equation to data depth and semi-supervised learning, and use the continuum limit to prove asymptotic consistency results for both applications. Finally, we show the results of experiments with data depth and semi-supervised learning on real image datasets, including MNIST, FashionMNIST and CIFAR-10, which show that the $p$-eikonal equation offers significantly better results compared to shortest path distances.

研究の動機と目的

• 実世界のデータにおけるエッジの摂動に対して頑健でない最短経路グラフ距離の欠如を解消すること。
• 連続極限において測地的近似を維持しながら、破損したエッジに対して耐性を持つグラフベースの距離関数を開発すること。
• p-eikonal方程式を用いて、データ深度および半教師あり学習における理論的漸近的整合性を確立すること。
• 実験的に、p=1が、実画像データセットにおける半教師あり学習およびデータ深度において、最短経路距離よりも優れた性能を示すことを示すこと。
• クラス事前分布を組み込むことで、密度再重み付けの有効な利用が可能になることを示し、そうでない場合には性能が低下することを示すこと。

提案手法

• p-eikonal方程式を、エッジをまたがるpノルム差を含む非線形PDEとして定式化し、グラフ上でのハミルトニアン・ジャコビ方程式として定義する。
• 最短経路アルゴリズムと同等の時間でp-eikonal方程式を効率的に解くために、修正されたファストマーチング法を用いる。
• 粘性解理論と最大原理を用いて、p-eikonal解の離散的から連続的への収束を証明し、連続極限で密度重み付き測地的距離関数に収束することを示す。
• エッジ重みのべき乗変換による密度再重み付けを用い、高密度領域を優遇することで、頑健性と精度を向上させる。
• ラベル予測における重み付き最小値を用いてクラス事前分布を組み込み、より弱いクラスタビリティ仮定下でも一貫性を高める。
• VAEおよび自己符号化変換（AutoEncodingTransformations）から得た学習済み潜在特徴を用いて、画像データにおけるグラフ品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 グラフベースの距離関数は、エッジの摂動に対して頑健でありながら、連続極限において真の測地的距離と整合的である可能性があるか？
• RQ2 p=1のp-eikonal方程式は、実世界のデータにおける半教師あり学習およびデータ深度において、最短経路距離よりも優れた性能を示すか？
• RQ3 クラス事前分布を組み込むと、グラフベースの学習手法における密度再重み付けの有効性にどのような影響を与えるか？
• RQ4 p-eikonal方程式における指数pの変化が、分類精度および頑健性に与える影響は何か？
• RQ5 クラス事前分布を用いることで、弱いクラスタビリティ仮定下でも、p-eikonal方程式が半教師あり学習において漸近的整合性を達成できるか？

主な発見

• p=1のp-eikonal方程式は、グラフ摂動に対して理論的に頑健であり、MNIST、FashionMNIST、CIFAR-10における半教師あり学習で、最短経路距離を著しく上回る性能を示す。
• p-eikonal方程式の連続極限は、密度重み付き測地的距離関数に収束し、粘性解理論を用いて収束速度の定量的評価がなされた。
• 半教師あり学習において、クラス事前分布を組み込んだp-eikonal手法は、MNISTではポisson学習と同等の性能を達成し、CIFAR-10ではそれを上回る。これは、1〜5ラベル/クラスの極めて少ないラベルでも成立する。
• クラス事前分布がなければ、密度再重み付けは性能を低下させるが、事前分布を組み込むことで、性能が著しく向上し、理論的利点の有効性が裏付けられる。
• クラス事前分布がなければ、p=2の方がp=1よりも分類精度が向上するが、事前分布を用いることで、p=1が最も高い性能を示し、実用的にはp=1＋事前分布が最適であることが示された。
• クラスタビリティ仮定下で、クラス事前分布を用いることで、半教師あり学習における漸近的整合性が達成され、グラフラプラシアンに基づく手法よりも証明が簡潔である。