[论文解读] The DFS fused lasso: nearly optimal linear-time denoising over graphs and trees

Oscar Hernán Madrid Padilla, James G. Scott+2 more|arXiv (Cornell University)|Aug 11, 2016

Sparse and Compressive Sensing Techniques参考文献 22被引用 2

一句话总结

本文提出了DFS融合lasso方法，通过利用深度优先搜索（DFS）生成的链图，在任意图上以线性时间实现信号去噪。证明了在诱导链图上的总变差至多为原始图的两倍，使得在该链图上应用一维融合lasso可达到与完整图融合lasso相同的最优均方误差率 $ t^{2/3} n^{-2/3} $，且构造时间复杂度为 $ O(m) $，计算时间复杂度为 $ O(n) $。

ABSTRACT

The fused lasso, also known as (anisotropic) total variation denoising, is widely used for piecewise constant signal estimation with respect to a given undirected graph. The fused lasso estimate is highly nontrivial to compute when the underlying graph is large and has an arbitrary structure. But for a special graph structure, namely, the chain graph, the fused lasso---or simply, 1d fused lasso---can be computed in linear time. In this paper, we establish a surprising connection between the total variation of a generic signal defined over an arbitrary graph, and the total variation of this signal over a chain graph induced by running depth-first search (DFS) over the nodes of the graph. Specifically, we prove that for any signal, its total variation over the induced chain graph is no more than twice its total variation over the original graph. This connection leads to several interesting theoretical and computational conclusions. Denoting by $m$ and $n$ the number of edges and nodes, respectively, of the graph in question, our result implies that for an underlying signal with total variation $t$ over the graph, the fused lasso achieves a mean squared error rate of \smash{$t^{2/3} n^{-2/3}$}. Moreover, precisely the same mean squared error rate is achieved by running the 1d fused lasso on the induced chain graph from running DFS. Importantly, the latter estimator is simple and computationally cheap, requiring only $O(m)$ operations for constructing the DFS-induced chain and $O(n)$ operations for computing the 1d fused lasso solution over this chain. Further, for trees that have bounded max degree, the error rate of \smash{$t^{2/3} n^{-2/3}$} cannot be improved, in the sense that it is the minimax rate for signals that have total variation $t$ over the tree.

研究动机与目标

• 开发一种计算高效的总变差去噪方法，适用于任意图上的总变差去噪，其中标准融合lasso在大规模或复杂图上计算成本过高。
• 建立一般图上信号的总变差与由深度优先搜索（DFS）诱导的链图上总变差之间的理论联系。
• 证明在一维DFS诱导链图上应用的融合lasso可达到与完整图融合lasso相同的最优均方误差率。
• 证明对于最大度有界的树，误差率 $ t^{2/3} n^{-2/3} $ 是极小极大最优的。

提出的方法

• 通过对原始无向图的节点执行深度优先搜索（DFS），构建一条链图。
• 定义信号在诱导链图上的总变差，并证明其至多为原始图上总变差的两倍。
• 对限制在DFS诱导链图上的信号应用一维融合lasso，其可在 $ O(n) $ 时间内计算。
• 将基于链图的估计作为完整图融合lasso估计的代理，利用有界变差比来保持误差率保证。
• 证明所得估计器可达到与原始融合lasso相同的 $ t^{2/3} n^{-2/3} $ 均方误差率。
• 证明对于最大度有界的树，该误差率是极小极大最优的，即无法实现更快的收敛速率。

实验结果

研究问题

• RQ1 能否通过DFS生成的链图高效近似任意图上的融合lasso，同时保持最优误差率？
• RQ2 一般图上信号的总变差与DFS诱导链图上总变差之间存在何种关系？
• RQ3 在一维DFS诱导链图上应用融合lasso是否可达到与完整图融合lasso相同的均方误差率？
• RQ4 对于最大度有界的树上总变差为 $ t $ 的信号，$ t^{2/3} n^{-2/3} $ 均方误差率是否为极小极大最优？
• RQ5 能否将融合lasso的计算成本降低至 $ O(m) $，用于图去噪，同时不牺牲统计性能？

主要发现

• 任意信号在DFS诱导链图上的总变差至多为其在原始图上总变差的两倍。
• 在一维DFS诱导链图上应用融合lasso可达到与完整图融合lasso相同的 $ t^{2/3} n^{-2/3} $ 均方误差率。
• DFS融合lasso估计器的构造时间复杂度为 $ O(m) $，求解一维融合lasso的时间复杂度为 $ O(n) $，总计算量为 $ O(m) $。
• 对于最大度有界的树，$ t^{2/3} n^{-2/3} $ 误差率是极小极大最优的，即无法实现更快的收敛速率。
• 该方法为一般图上的融合lasso提供了一种近乎最优的线性时间替代方案。