[論文レビュー] Algorithms for Lipschitz Learning on Graphs

Rasmus Kyng, Anup Rao+2 more|arXiv (Cornell University)|May 1, 2015

Machine Learning and Algorithms参考文献 18被引用数 23

ひとこと要約

この論文は、重み付きグラフ上の関数の絶対的最小リプシッツ拡張を計算する高速なアルゴリズムを導入し、p→∞の極限におけるp-ラプラシアン正則化を一般化する。期待線形時間のinf最小化アルゴリズムと、期待Õ(mn)時間のlex最小化アルゴリズムを提示し、l₁およびl₀正則化の効率的バージョンを提供することで、証明可能保証付きのロバストで滑らかなグラフ上での関数拡張が可能になる。

ABSTRACT

We develop fast algorithms for solving regression problems on graphs where one is given the value of a function at some vertices, and must find its smoothest possible extension to all vertices. The extension we compute is the absolutely minimal Lipschitz extension, and is the limit for large $p$ of $p$-Laplacian regularization. We present an algorithm that computes a minimal Lipschitz extension in expected linear time, and an algorithm that computes an absolutely minimal Lipschitz extension in expected time $\widetilde{O} (m n)$. The latter algorithm has variants that seem to run much faster in practice. These extensions are particularly amenable to regularization: we can perform $l_{0}$-regularization on the given values in polynomial time and $l_{1}$-regularization on the initial function values and on graph edge weights in time $\widetilde{O} (m^{3/2})$.

研究の動機と目的

• 重み付きグラフの頂点部分集合に定義された関数の滑らかさを最大限に保った拡張を計算するための効率的アルゴリズムの開発。
• 2-ラプラシアン正則化の限界を克服し、グラフベース学習のための絶対的最小リプシッツ拡張を優れた代替手段として導入すること。
• 2-ラプラシアン最小化においてNP困難と知られているl₀正則化の頂点値に対する多項式時間解法の提供。
• 従来のp-ラプラシアン手法が十分に理解されておらず、効率的に解けないため、有向グラフへのフレームワークの拡張。

提案手法

• 論文は、エッジごとのリプシッツ定数の辞書的最小化としてlex最小化を定義し、p→∞におけるp-ラプラシアン正則化の極限に一致する。
• 最大のエッジ勾配を最小化し、次に2番目に大きなもの、という順に頂点値を反復的に調整するアルゴリズムを提案。優先度キューを用いた緩和プロセスを用いる。
• エッジ重みおよび初期値のl₁正則化に対しては、内点法と高速ラプラシアンソルバーを組み合わせ、Õ(m³/²)時間の時間計算量を達成する。
• l₀正則化に対しては、トランスティビティ閉包をとったDAG上の最小頂点被覆問題に帰着させ、多項式時間で解けることを示す。これにより、ラベル付き集合からの外れ値の除去が可能になる。
• 理論的保証とヒューリスティックな変種による実用的性能向上を考慮した、シンプルで効率的なアルゴリズム設計。
• リプシッツ条件と緩和プロセスを有向エッジペアに一般化することで、すべての手法が自然に有向グラフへ拡張可能となる。

実験結果

リサーチクエスチョン

• RQ1 大規模なpに対して、従来の凸プログラミング手法よりも速く、絶対的最小リプシッツ拡張を計算できるか？
• RQ2 2-ラプラシアンの場合とは異なり、リプシッツ拡張における頂点値のl₀正則化は多項式時間で解けるか？
• RQ3 グラフベース学習問題において、エッジ重みおよび初期値のl₁正則化を効率的に実行できるか？
• RQ4 ノイズや外れ値を含むデータに対して、lex最小化は2-ラプラシアン最小化と比べてどのように性能を発揮するか？
• RQ5 p-ラプラシアン手法が十分に確立されていない有向グラフへ、このフレームワークを自然に拡張できるか？

主な発見

• lex最小化は期待的にÕ(mn)時間で計算可能であり、大規模なpに対して従来の凸プログラミング手法より著しく高速である。
• inf最小化アルゴリズムは期待的にO(m + n log n)時間で実行可能であり、大規模グラフにおいても高いスケーラビリティを示す。
• エッジ重みおよび初期値のl₁正則化は、高速ラプラシアンソルバーと内点法を組み合わせることで、Õ(m³/²)時間で解ける。
• 頂点値のl₀正則化は、トランスティビティ閉包をとったDAG上の最小頂点被覆問題に帰着可能であり、多項式時間で解ける。これは2-ラプラシアンの場合のNP困難性とは驚くべき対照をなす。
• アルゴリズムは自然に有向グラフへ拡張可能であり、ネットワーク解析やスパム検出など、新たな応用が可能になる。
• WebSpamデータセットにおける実験では、有向バージョンが実用的に優れた性能を示し、ロバスト性とスケーラビリティを実証した。