[论文解读] The DFS Fused Lasso: Linear-Time Denoising over General Graphs

Oscar Hernán Madrid Padilla, James G. Scott+2 more|arXiv (Cornell University)|Aug 11, 2016

Mathematical Analysis and Transform Methods参考文献 46被引用 18

一句话总结

本文提出了DFS融合Lasso方法，通过利用深度优先搜索（DFS）将一般图上的信号去噪问题转化为链图上的线性时间问题。证明了任意信号在诱导链图上的总变差至多为其在原始图上总变差的两倍，从而使得一维融合Lasso能够达到与完整融合Lasso相同的极小极大均方误差率 $ t^{2/3}n^{-2/3} $，且构造时间复杂度为 $ O(m) $，计算时间复杂度为 $ O(n) $。

ABSTRACT

The fused lasso, also known as (anisotropic) total variation denoising, is widely used for piecewise constant signal estimation with respect to a given undirected graph. The fused lasso estimate is highly nontrivial to compute when the underlying graph is large and has an arbitrary structure. But for a special graph structure, namely, the chain graph, the fused lasso---or simply, 1d fused lasso---can be computed in linear time. In this paper, we establish a surprising connection between the total variation of a generic signal defined over an arbitrary graph, and the total variation of this signal over a chain graph induced by running depth-first search (DFS) over the nodes of the graph. Specifically, we prove that for any signal, its total variation over the induced chain graph is no more than twice its total variation over the original graph. This connection leads to several interesting theoretical and computational conclusions. Denoting by $m$ and $n$ the number of edges and nodes, respectively, of the graph in question, our result implies that for an underlying signal with total variation $t$ over the graph, the fused lasso achieves a mean squared error rate of \smash{$t^{2/3} n^{-2/3}$}. Moreover, precisely the same mean squared error rate is achieved by running the 1d fused lasso on the induced chain graph from running DFS. Importantly, the latter estimator is simple and computationally cheap, requiring only $O(m)$ operations for constructing the DFS-induced chain and $O(n)$ operations for computing the 1d fused lasso solution over this chain. Further, for trees that have bounded max degree, the error rate of \smash{$t^{2/3} n^{-2/3}$} cannot be improved, in the sense that it is the minimax rate for signals that have total variation $t$ over the tree.

研究动机与目标

• 开发一种计算高效的总变差去噪方法，适用于任意图结构，其中标准融合Lasso的计算成本较高。
• 建立一般图上总变差与由深度优先搜索（DFS）诱导的链图上总变差之间的理论联系。
• 证明在一维融合Lasso应用于DFS诱导的链图时，其达到的极小极大均方误差率与在原始图上使用完整融合Lasso的误差率相同。
• 证明对于最大度数有界的树，误差率 $ t^{2/3}n^{-2/3} $ 是极小极大最优的。
• 将分析扩展至其他粗糙度度量，如边差分的 $ \ell_0 $ 范数。

提出的方法

• 通过对任意无向图的节点执行深度优先搜索（DFS），构建一条链图，同时保持DFS访问顺序下的信号值不变。
• 证明对于任意信号，其在DFS诱导链图上的总变差至多为其在原始图上总变差的两倍。
• 在诱导链图上的信号上应用一维融合Lasso，可使用动态规划或紧绳法在 $ O(n) $ 时间内完成计算。
• 利用链图的结构特性，实现与完整融合Lasso相同的均方误差率 $ t^{2/3}n^{-2/3} $。
• 基于打包论证和高斯位置模型，使用信息论下界方法，建立树结构上的极小极大最优性。
• 将结果推广至基于边差分的 $ \ell_0 $-范数的粗糙度度量，证明类似的近似保证成立。

实验结果

研究问题

• RQ1 能否通过DFS诱导的链图上的1D融合Lasso高效近似一般图上的融合Lasso？
• RQ2 信号在原始图上的总变差与在DFS诱导链图上的总变差之间的最坏情况比值是多少？
• RQ3 在DFS诱导链图上使用的一维融合Lasso是否能达到与在原始图上使用完整融合Lasso相同的极小极大均方误差率？
• RQ4 对于最大度数有界的树，误差率 $ t^{2/3}n^{-2/3} $ 是否为极小极大最优？
• RQ5 能否为基于边差分的 $ \ell_0 $-范数的粗糙度度量建立类似的近似保证？

主要发现

• 任意信号在DFS诱导链图上的总变差至多为其在原始图上总变差的两倍，即 $ \|\nabla_{\text{chain}}\theta\|_1 \leq 2\|\nabla_G\theta\|_1 $。
• 在一维融合Lasso应用于DFS诱导链图时，其达到的均方误差率与在原始图上使用完整融合Lasso的误差率相同，均为 $ t^{2/3}n^{-2/3} $。
• DFS融合Lasso估计器的构造时间复杂度为 $ O(m) $，求解一维融合Lasso的时间复杂度为 $ O(n) $，从而实现线性时间去噪。
• 对于最大度数 $ d_{\text{max}} $ 有界的树，误差率 $ t^{2/3}n^{-2/3} $ 是极小极大最优的，通过下界构造得以证明。
• 对于基于边差分的 $ \ell_0 $-范数的粗糙度度量，也存在类似的近似结果，且乘数因子仍为2。
• 基于 $ \ell_0 $-范数的粗糙度度量在树上的极小极大下界，通过打包论证和高斯位置模型推导得出，其误差率为 $ \sigma^2 s \log(n/s) $。