[논문 리뷰] Working Locally Thinking Globally - Part II: Stability and Algorithms for Convolutional Sparse Coding

Vardan Papyan, Jeremias Sulam외 1명|arXiv (Cornell University)|2016. 07. 07.

Sparse and Compressive Sensing Techniques참고 문헌 12인용 수 11

한 줄 요약

이 논문은 노이즈 환경 하에서 컨volution스parse coding의 이론적 안정성 보장을 수립하며, 기존의 RIP 및 ERC 개념을 컨volution 설정으로 일반화한다. Basis Pursuit와 Orthogonal Matching Pursuit가 진짜 희박한 코드에 가까운 해를 복원함을 증명하고, 패치 기반 처리를 통해 전역 최적성을 달성하는 새로운 국소 알고리즘을 제안한다.

ABSTRACT

The convolutional sparse model has recently gained increasing attention in the signal and image processing communities, and several methods have been proposed for solving the pursuit problem emerging from it -- in particular its convex relaxation, Basis Pursuit. In the first of this two-part work, we have provided a theoretical back-bone for this model, providing guarantees for the uniqueness of the sparsest solution and for the success of pursuit algorithms by introducing the notion of stripe sparsity and other related measures. Herein, we extend the analysis to a noisy regime, thereby considering signal perturbations and model deviations. We address questions of stability of the sparsest solutions and the success of pursuit algorithms, both greedy and convex. Classical definitions such as the RIP are generalized to the convolutional model, and existing notions such as the ERC are connected to our setting. On the algorithmic side, we demonstrate how to solve the global pursuit problem by using simple local processing, thus offering a first of its kind bridge between global modeling of signals and their patch-based local treatment.

연구 동기 및 목표

• 노이즈 환경에서 컨volution스parse coding에 대한 이론적 안정성 보장이 부족한 문제를 해결한다.
• 기존의 희박 복원 개념인 RIP 및 ERC를 컨volution스parse coding 프레임워크로 일반화한다.
• Basis Pursuit와 Orthogonal Matching Pursuit가 노이즈 하에서도 안정적이고 정확하게 유지됨을 보여준다.
• 전역 신호 모델링과 국소 패치 기반 처리 사이의 격차를 메우기 위해 전역 추적 문제를 순수하게 국소 연산을 통해 해결한다.
• 국소 알고리즘이 전역 최적 희박 표현을 복원하는 데 성공한 데 대한 이론적 기초를 제공한다.

제안 방법

• 겹치는 신호 세그먼트에서 스트립 수준의 희박성을 캡처하기 위해 새로운 희박성 측도인 ℓ₀,∞ 노름을 도입한다.
• 순환 및 밴드형 딕셔너리 구조를 사용하여 컨volution 모델에 Restricted Isometry Property(RIP)와 Exact Recovery Condition(ERC)를 일반화한다.
• 진짜 희박한 코드의 ℓ₀,∞ 노름이 유한할 경우 ERC 조건이 성립함을 증명하여 안정적 복원을 보장한다.
• Basis Pursuit와 최소 제곱법의 해와 진짜 희박 벡터 사이의 ℓ∞-거리에 대한 경계를 유도하여, 이들이 진짜 해로부터 O(εL) 이내에 있음을 보여준다.
• 이동 불변 구조를 활용하여 겹치는 패치를 국소적으로 처리함으로써 전역 추적 문제를 해결하는 국소 알고리즘을 설계한다.
• Tropp의 희박 복원 정리에 기반하여, Basis Pursuit 해의 오차를 노이즈 수준 εL과 딕셔너리의 상호코herence에 따라 경계한다.

실험 결과

연구 질문

• RQ1 기존의 안정성 개념인 RIP 및 ERC는 어떻게 컨volution스parse coding 모델로 일반화될 수 있는가?
• RQ2 노이즈 하에서 컨volution스parse coding 문제의 가장 희박한 해가 안정적으로 유지되기 위한 조건은 무엇인가?
• RQ3 전역 추적 문제는 전적으로 국소적 패치 기반 연산을 사용하여 해결될 수 있는가, 이때 전역 최적성이 유지되는가?
• RQ4 노이즈가 있는 컨volution스parse 설정에서 Orthogonal Matching Pursuit와 Basis Pursuit의 성능에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ5 ℓ₀,∞ 노름은 컨volution스parse 모델에서 희박 복원 성공과 어떻게 관련이 있는가?

주요 결과

• 논문은 진짜 희박한 코드의 ℓ₀,∞ 노름이 1/3(1 + 1/μ(D)) 이하일 경우 Exact Recovery Condition(ERC)이 성립함을 증명하여 안정적 복원을 보장한다.
• 제시된 조건 하에서 Basis Pursuit가 얻는 해는 ℓ∞-노름 기준으로 진짜 희박한 벡터로부터 7.5εL 이내에 있다.
• 최소 제곱법 해와 진짜 희박한 벡터 사이의 ℓ∞-거리가 1.5εL 이내로 경계된다.
• Basis Pursuit 해와 최소 제곱법 해 사이의 차이는 ℓ∞-노름 기준으로 6εL 이내로 경계된다.
• 제안된 국소 알고리즘은 순수하게 국소적 패치 기반 처리를 통해 전역 최적성을 달성한다.
• 이론적 분석을 통해 OMP와 BP가 노이즈 하에서도 안정적이고 정확하며, 오차 경계가 노이즈 수준 εL에 대해 명시적으로 정량화됨을 확인한다.