[논문 리뷰] The DFS fused lasso: nearly optimal linear-time denoising over graphs and trees

Oscar Hernán Madrid Padilla, James G. Scott외 2명|arXiv (Cornell University)|2016. 08. 11.

Sparse and Compressive Sensing Techniques참고 문헌 22인용 수 2

한 줄 요약

이 논문은 깊이 우선 탐색(DFS)에 의해 유도된 체인 그래프를 활용하여 임의의 그래프 위의 신호를 노이즈 제거하기 위한 선형 시간 방법인 DFS 융합 라소를 소개한다. 이 방법은 유도된 체인에서의 총 변동량이 원래 그래프의 총 변동량의 최대 두 배임을 증명하며, 이는 1차원 융합 라소가 원래 그래프 융합 라소와 동일한 최적의 $ t^{2/3} n^{-2/3} $ 평균 제곱오차율을 달성할 수 있음을 보장한다. 이 방법은 $ O(m) $의 시간 복잡도로 체인을 구성하고 $ O(n) $의 시간 복잡도로 계산이 가능하여 전체적으로 $ O(m) $의 시간 복잡도를 갖는다.

ABSTRACT

The fused lasso, also known as (anisotropic) total variation denoising, is widely used for piecewise constant signal estimation with respect to a given undirected graph. The fused lasso estimate is highly nontrivial to compute when the underlying graph is large and has an arbitrary structure. But for a special graph structure, namely, the chain graph, the fused lasso---or simply, 1d fused lasso---can be computed in linear time. In this paper, we establish a surprising connection between the total variation of a generic signal defined over an arbitrary graph, and the total variation of this signal over a chain graph induced by running depth-first search (DFS) over the nodes of the graph. Specifically, we prove that for any signal, its total variation over the induced chain graph is no more than twice its total variation over the original graph. This connection leads to several interesting theoretical and computational conclusions. Denoting by $m$ and $n$ the number of edges and nodes, respectively, of the graph in question, our result implies that for an underlying signal with total variation $t$ over the graph, the fused lasso achieves a mean squared error rate of \smash{$t^{2/3} n^{-2/3}$}. Moreover, precisely the same mean squared error rate is achieved by running the 1d fused lasso on the induced chain graph from running DFS. Importantly, the latter estimator is simple and computationally cheap, requiring only $O(m)$ operations for constructing the DFS-induced chain and $O(n)$ operations for computing the 1d fused lasso solution over this chain. Further, for trees that have bounded max degree, the error rate of \smash{$t^{2/3} n^{-2/3}$} cannot be improved, in the sense that it is the minimax rate for signals that have total variation $t$ over the tree.

연구 동기 및 목표

• 크기가 크거나 복잡한 그래프에서 표준 융합 라소가 비효율적인 경우에도 계산적으로 효율적인 총 변동량 노이즈 제거 방법을 개발하는 것.
• 일반적인 그래프에서 신호의 총 변동량과 깊이 우선 탐색(DFS)에 의해 유도된 체인 그래프에서의 총 변동량 간의 이론적 연결 고리를 설정하는 것.
• DFS에 의해 유도된 체인에 1차원 융합 라소를 적용할 경우, 전체 그래프 융합 라소와 동일한 최적의 평균 제곱오차율을 달성할 수 있음을 보여주는 것.
• 최대 차수의 상한이 있는 트리에서, $ t^{2/3} n^{-2/3} $ 오차율이 최소 최대 최적임을 보여주는 것.

제안 방법

• 원본 무방향 그래프의 노드에 대해 깊이 우선 탐색(DFS)을 수행하여 체인 그래프를 구성한다.
• 유도된 체인 그래프에서 신호의 총 변동량을 정의하고, 이 값이 원래 그래프의 총 변동량의 최대 두 배임을 증명한다.
• DFS에 의해 유도된 체인에 제한된 신호에 대해 1차원 융합 라소를 적용하며, 이는 $ O(n) $ 시간 내에 계산 가능하다.
• 체인 기반 추정치를 전체 그래프 융합 라소 추정치의 대체로 사용하며, 변동량 비율의 유한성을 활용하여 오차율 보장을 유지한다.
• 결과로 얻어진 추정치가 원래 융합 라소와 동일한 $ t^{2/3} n^{-2/3} $ 평균 제곱오차율을 달성함을 보여준다.
• 최대 차수의 상한이 있는 트리에서 이 오차율이 최소 최대 최적임을 증명한다. 즉, 더 빠른 오차율은 달성할 수 없다.

실험 결과

연구 질문

• RQ1 DFS에 의해 유도된 체인을 사용하여 임의의 그래프에서 융합 라소를 효율적으로 근사할 수 있으며, 최적의 오차율을 유지할 수 있는가?
• RQ2 일반적인 그래프에서 신호의 총 변동량과 DFS에 의해 유도된 체인 그래프에서의 총 변동량 간의 관계는 무엇인가?
• RQ3 DFS에 의해 유도된 체인에 1차원 융합 라소를 적용할 경우, 전체 그래프 융합 라소와 동일한 평균 제곱오차율을 달성할 수 있는가?
• RQ4 최대 차수의 상한이 있는 트리에서, 총 변동량이 $ t $인 신호에 대해 $ t^{2/3} n^{-2/3} $ 평균 제곱오차율이 최소 최대 최적인가?
• RQ5 융합 라소의 계산 비용을 그래프 노이즈 제거에서 $ O(m) $로 줄일 수 있는가, 이로 인해 통계적 성능이 저하되지 않는가?

주요 결과

• DFS에 의해 유도된 체인 그래프에서 어떤 신호의 총 변동량도 원래 그래프에서의 총 변동량의 최대 두 배 이내이다.
• DFS에 의해 유도된 체인에 1차원 융합 라소를 적용할 경우, 전체 그래프 융합 라소와 동일한 $ t^{2/3} n^{-2/3} $ 평균 제곱오차율을 달성한다.
• DFS 융합 라소 추정치는 체인을 구성하는 데 $ O(m) $ 시간이 소요되고, 1차원 융합 라소를 푸는 데 $ O(n) $ 시간이 소요되며, 총 $ O(m) $의 연산으로 계산 가능하다.
• 최대 차수의 상한이 있는 트리에서 $ t^{2/3} n^{-2/3} $ 오차율은 최소 최대 최적이다. 즉, 더 빠른 오차율은 달성할 수 없다.
• 이 방법은 일반 그래프에서 계산 비용이 높은 융합 라소의 거의 최적의 선형 시간 대체 방법을 제공한다.