[논문 리뷰] The DFS Fused Lasso: Linear-Time Denoising over General Graphs

Oscar Hernán Madrid Padilla, James G. Scott외 2명|arXiv (Cornell University)|2016. 08. 11.

Mathematical Analysis and Transform Methods참고 문헌 46인용 수 18

한 줄 요약

이 논문은 깊이 우선 탐색(DFS)을 활용해 일반 그래프 위의 신호를 노이즈 제거하기 위한 선형 시간 방법인 DFS 융합 라소(DFS Fused Lasso)를 소개한다. 이 방법은 신호를 체인 그래프로 유도함으로써 효과적으로 작동하며, 유도된 체인에서의 총 변동량이 원래 그래프에서의 총 변동량의 최대 두 배임을 증명한다. 이를 통해 1차원 융합 라소는 전체 융합 라소와 동일한 최소최대 평균 제곱오차율 $ t^{2/3}n^{-2/3} $ 을 달성할 수 있으며, 체인 구축에 $ O(m) $, 계산에 $ O(n) $ 시간이 소요된다.

ABSTRACT

The fused lasso, also known as (anisotropic) total variation denoising, is widely used for piecewise constant signal estimation with respect to a given undirected graph. The fused lasso estimate is highly nontrivial to compute when the underlying graph is large and has an arbitrary structure. But for a special graph structure, namely, the chain graph, the fused lasso---or simply, 1d fused lasso---can be computed in linear time. In this paper, we establish a surprising connection between the total variation of a generic signal defined over an arbitrary graph, and the total variation of this signal over a chain graph induced by running depth-first search (DFS) over the nodes of the graph. Specifically, we prove that for any signal, its total variation over the induced chain graph is no more than twice its total variation over the original graph. This connection leads to several interesting theoretical and computational conclusions. Denoting by $m$ and $n$ the number of edges and nodes, respectively, of the graph in question, our result implies that for an underlying signal with total variation $t$ over the graph, the fused lasso achieves a mean squared error rate of \smash{$t^{2/3} n^{-2/3}$}. Moreover, precisely the same mean squared error rate is achieved by running the 1d fused lasso on the induced chain graph from running DFS. Importantly, the latter estimator is simple and computationally cheap, requiring only $O(m)$ operations for constructing the DFS-induced chain and $O(n)$ operations for computing the 1d fused lasso solution over this chain. Further, for trees that have bounded max degree, the error rate of \smash{$t^{2/3} n^{-2/3}$} cannot be improved, in the sense that it is the minimax rate for signals that have total variation $t$ over the tree.

연구 동기 및 목표

• 일반적인 그래프에서 표준 융합 라소 계산이 비용이 많이 들기 때문에, 총 변동량 노이즈 제거를 위한 계산 효율적인 방법을 개발하는 것.
• 깊이 우선 탐색(DFS)에 의해 유도된 체인 그래프에서의 총 변동량과 일반 그래프에서의 총 변동량 간 이론적 연결 고리를 설정하는 것.
• DFS에 의해 유도된 체인 그래프에서의 1차원 융합 라소가 원래 그래프에서 전체 융합 라소와 동일한 최소최대 평균 제곱오차율을 달성하는지 보여주는 것.
• 최대 차수에 제한이 있는 트리에 대해 오차율 $ t^{2/3}n^{-2/3} $ 가 최소최대 최적임을 증명하는 것.
• 간선 차이의 $ \ell_0 $-노름을 기반으로 하는 다른 난이도 측도로 분석을 확장하는 것.

제안 방법

• 임의의 무방향 그래프의 노드에 대해 깊이 우선 탐색(DFS)을 수행하여 신호 값을 DFS 순서에 따라 유지하는 체인 그래프를 구축한다.
• 임의의 신호에 대해, 그 신호가 DFS에 의해 유도된 체인 그래프에서의 총 변동량이 원래 그래프에서의 총 변동량의 최대 두 배임을 증명한다.
• 유도된 체인에서의 신호에 대해 1차원 융합 라소를 적용하며, 동적 프로그래밍 또는 타우트스트링 방법을 사용해 $ O(n) $ 시간 내에 계산할 수 있다.
• 체인의 구조를 활용하여 전체 융합 라소와 동일한 평균 제곱오차율 $ t^{2/3}n^{-2/3} $ 을 달성한다.
• 패킹 추론과 가우시안 위치 모델을 기반으로 한 정보 이론적 하한선을 사용하여 트리에 대해 최소최대 최적성의 증명을 한다.
• 간선 차이의 $ \ell_0 $-노름을 기반으로 하는 난이도 측도로 결과를 확장하며, 동일한 배수인 2배의 근사 보장을 보여준다.

실험 결과

연구 질문

• RQ1 일반 그래프에서의 융합 라소는 깊이 우선 탐색(DFS)에 의해 유도된 체인에서의 1차원 융합 라소로 효율적으로 근사될 수 있는가?
• RQ2 원래 그래프에서의 신호 총 변동량과 DFS에 의해 유도된 체인에서의 총 변동량 간 최악의 비율은 얼마인가?
• RQ3 DFS에 의해 유도된 체인에서의 1차원 융합 라소가 원래 그래프에서 전체 융합 라소와 동일한 최소최대 평균 제곱오차율을 달성하는가?
• RQ4 최대 차수가 유한한 트리에 대해 오차율 $ t^{2/3}n^{-2/3} $ 이 최소최대 최적인가?
• RQ5 간선 간 차이의 $ \ell_0 $-노름을 기반으로 하는 난이도 측도에 대해 유사한 근사 보장이 성립하는가?

주요 결과

• 임의의 신호에 대해 DFS에 의해 유도된 체인 그래프에서의 총 변동량은 원래 그래프에서의 총 변동량의 최대 두 배이며, 즉 $ \|\nabla_{\text{chain}}\theta\|_1 \leq 2\|\nabla_G\theta\|_1 $ 이다.
• DFS에 의해 유도된 체인 그래프에서의 1차원 융합 라소는 원래 그래프에서 전체 융합 라소와 동일한 평균 제곱오차율 $ t^{2/3}n^{-2/3} $ 을 달성한다.
• DFS 융합 라소 추정기는 체인 구축에 $ O(m) $ 시간, 1차원 융합 라소 해법에 $ O(n) $ 시간이 소요되어 선형 시간 노이즈 제거가 가능하다.
• 최대 차수 $ d_{\text{max}} $ 가 유한한 트리에 대해 오차율 $ t^{2/3}n^{-2/3} $ 는 최소최대 최적임이 증명되었으며, 하한선 구성으로 입증되었다.
• 간선 차이의 $ \ell_0 $-노름을 기반으로 하는 난이도 측도에 대해서도 유사한 근사 결과가 성립하며, 동일한 배수인 2배의 상수 요소를 가진다.
• 트리에서 $ \ell_0 $-기반 난이도 측도에 대한 최소최대 하한선은 패킹 추론과 가우시안 위치 모델을 기반으로 유도되었으며, 이로 인해 $ \sigma^2 s \log(n/s) $ 의 오차율을 도출하였다.