[论文解读] Algorithms for Lipschitz Learning on Graphs

Rasmus Kyng, Anup Rao+2 more|arXiv (Cornell University)|May 1, 2015

Machine Learning and Algorithms参考文献 18被引用 23

一句话总结

本文提出了在圖上計算絕對最小Lipschitz擴展的快速演算法，該方法在p→∞的極限下推廣了p-Laplacian正則化。論文提出了一種期望線性時間的inf-最小化演算法，以及一種期望Õ(mn)時間的lex-最小化演算法，並針對l₁與l₀正則化提出了高效變體，從而實現了在圖上具有理論保證的穩健、平滑函數擴展。

ABSTRACT

We develop fast algorithms for solving regression problems on graphs where one is given the value of a function at some vertices, and must find its smoothest possible extension to all vertices. The extension we compute is the absolutely minimal Lipschitz extension, and is the limit for large $p$ of $p$-Laplacian regularization. We present an algorithm that computes a minimal Lipschitz extension in expected linear time, and an algorithm that computes an absolutely minimal Lipschitz extension in expected time $\widetilde{O} (m n)$. The latter algorithm has variants that seem to run much faster in practice. These extensions are particularly amenable to regularization: we can perform $l_{0}$-regularization on the given values in polynomial time and $l_{1}$-regularization on the initial function values and on graph edge weights in time $\widetilde{O} (m^{3/2})$.

研究动机与目标

• 開發高效演算法，以計算定義在加權圖頂點子集上的函數的最平滑擴展。
• 透過引入絕對最小Lipschitz擴展作為替代方案，解決2-Laplacian正則化方法的限制，以提升圖基學習的表現。
• 為頂點值的l₀-正則化問題提供多項式時間解法，此問題在2-Laplacian最小化下被證明為NP難。
• 將框架擴展至有向圖，其中傳統的p-Laplacian方法尚未被充分理解或高效求解。

提出的方法

• 論文將lex-最小化器定義為邊界Lipschitz常數的字典序最小化問題的解，對應於p→∞時p-Laplacian正則化的極限。
• 提出一種新穎的演算法，透過迭代調整頂點值，以最小化最大的邊梯度，接著是最小化第二大的梯度，依此類推，並使用基於優先權佇列的鬆弛過程。
• 針對邊權重與初始值的l₁-正則化，方法結合內點法與快速Laplacian求解器，達到Õ(m³/²)的時間複雜度。
• 針對l₀-正則化，將問題簡化為在傳遞閉合DAG上的最小頂點覆蓋問題，可在多項式時間內求解，從而實現對標記集合中異常值的移除。
• 所有演算法設計簡潔高效，具備理論保證，並透過啟發式變體實現實務上的性能提升。
• 透過將Lipschitz條件與鬆弛過程推廣至有向邊對，所有方法自然延伸至有向圖。

实验结果

研究问题

• RQ1 我們能否在大於p的極限下，比現有的凸規劃方法更快地計算圖上的絕對最小Lipschitz擴展？
• RQ2 Lipschitz擴展中頂點值的l₀-正則化問題是否可在多項式時間內求解，與2-Laplacian情形下NP難的性質形成對比？
• RQ3 在圖基學習問題中，邊權重與初始值的l₁-正則化能否高效執行？
• RQ4 lex-最小化器在處理含噪聲或異常值的資料時，與2-Laplacian最小化器相比表現如何？
• RQ5 該框架能否自然地擴展至有向圖，其中p-Laplacian方法尚未建立穩固基礎？

主要发现

• lex-最小化器可在期望Õ(mn)時間內計算，顯著快於大p值下凸規劃方法的執行時間。
• inf-最小化演算法的時間複雜度為期望O(m + n log n)，使其在大規模圖上具有高度可擴展性。
• 透過快速Laplacian求解器與內點法，邊權重與初始值的l₁-正則化可在Õ(m³/²)時間內求解。
• 頂點值的l₀-正則化問題可透過簡化為傳遞閉合DAG上的最小頂點覆蓋問題，在多項式時間內求解，與2-Laplacian情形下NP難的性質形成驚人對比。
• 演算法自然延伸至有向圖，從而為網路分析與垃圾訊息檢測等新應用提供可能。
• 在WebSpam資料集上的實驗顯示，有向圖變體在實務中表現良好，展現出穩健性與可擴展性。