[논문 리뷰] Sparse recovery conditions for Orthogonal Least Squares

Charles Soussen, Rémi Gribonval외 2명|arXiv (Cornell University)|2011. 11. 02.

Sparse and Compressive Sensing Techniques참고 문헌 15인용 수 2

한 줄 요약

이 논문은 정확한 복원 조건(ERC)을 사용하여 옥스티널 최소 제곱법(OLS)의 최초의 정확한 복원 분석을 제시하며, ERC가 만족될 경우 OLS가 최대 k회 반복 이내에 정확한 지원 복원을 보장함을 증명한다. 또한 OMP와 달리 일부 사전에 대해 복원이 불가능한 부분집합 문제를 피함을 보이며, 수치 결과는 관련성이 높은 사전에서 OLS가 OMP보다 더 적은 반복 수로 보장된 복원을 달성할 수 있음을 시사한다.

ABSTRACT

Tropp's analysis of Orthogonal Matching Pursuit (OMP) using the Exact Recovery Condition (ERC) is extended to a first exact recovery analysis of Orthogonal Least Squares (OLS). We show that when the ERC is met, OLS is guaranteed to exactly recover the unknown support in at most k iterations. Moreover, we provide a closer look at the analysis of both OMP and OLS when the ERC is not fulfilled. The existence of dictionaries for which some subsets are never recovered by OMP is proved. This phenomenon also appears with basis pursuit where support recovery depends on the sign patterns, but it does not occur for OLS. Finally, numerical experiments show that none of the considered algorithms is uniformly better than the other but for correlated dictionaries, guaranteed exact recovery may be obtained after fewer iterations for OLS than for OMP.

연구 동기 및 목표

• OMP의 Tropp 기반 ERC 분석을 옥스티널 최소 제곱법(OLS)으로 확장하여 정확한 지원 복원을 위한 연구.
• ERC가 만족되지 않을 경우 OMP와 OLS의 행동을 분석하며, 특히 복원 가능한 부분집합과 복원이 불가능한 부분집합에 초점을 맞춘다.
• OMP와 기저 부스러기(Basis Pursuit)에서 기인하는 부호 패턴에 의한 부분집합 복원 불가 문제를 OLS가 피할 수 있는지 확인한다.
• 특히 관련성이 높은 사전에서 보장된 정확한 복원을 위한 반복 횟수 측면에서 OLS와 OMP의 성능을 비교한다.

제안 방법

• 정확한 복원 조건(ERC)을 OLS에 적응시켜 정확한 지원 복원을 위한 충분조건을 수립한다.
• 잔차에 대한 상관관계가 가장 큰 원소를 선택하는 그레디언트 선택 전략을 사용하며, 지원을 수직 투영을 통해 업데이트한다.
• ERC 프레임워크를 활용하여 OLS가 최대 k회 반복 이내에 진짜 지원을 정확히 복원할 수 있는 조건을 분석한다.
• 부호 패턴 의존성으로 인해 OMP가 어떤 경우에도 복원하지 못하는 부분집합을 보여주는 반례를 구성한다. 이 현상은 OLS에서는 관찰되지 않는다.
• 관련성이 높은 사전에서 수치 실험을 수행하여 OLS와 OMP 간의 반복 횟수와 복원 보장을 비교한다.
• 부호 패턴에 대한 의존성에서의 지원 복원 차이를 부각하기 위해 OLS를 기저 부스러기와 비교한다.

실험 결과

연구 질문

• RQ1 OLS는 어떤 조건에서 최대 k회 반복 이내에 신호의 희박한 지원을 정확히 복원하는가?
• RQ2 정확한 복원 조건(ERC)이 만족되지 않을 경우 OLS는 OMP에 비해 어떻게 성능을 발휘하는가?
• RQ3 OMP와 기저 부스러기에서 기인하는 부호 패턴 의존성으로 인한 부분집합 복원 불가 문제를 OLS는 피할 수 있는가?
• RQ4 관련성이 높은 사전에서 OLS는 OMP보다 더 적은 반복 수로 보장된 정확한 복원을 달성하는가?
• RQ5 ERC가 위반되었을 경우 OLS와 OMP의 지원 복원 행동에 근본적인 차이가 존재하는가?

주요 결과

• 정확한 복원 조건(ERC)이 만족될 경우 OLS는 최대 k회 반복 이내에 정확한 지원 복원을 보장한다.
• OMP와 달리, ERC가 만족되지 않더라도 부호 패턴 의존성으로 인한 복원 불가능한 부분집합 문제를 OLS는 겪지 않는다.
• 부호 패턴 제약으로 인해 신호 강도나 희박성과 관계없이 OMP가 어떤 경우에도 진짜 지원을 복원하지 못하는 사전과 부분집합이 존재한다.
• 관련성이 높은 사전에서 OLS는 OMP보다 더 적은 반복 수로 보장된 정확한 복원을 달성하며, 이는 수렴 속도 향상을 시사한다.
• 수치 실험 결과, OLS와 OMP 중 어느 한쪽이 항상 우월한 것은 아니지만, 관련성이 높은 환경에서는 OLS가 더 빠른 보장된 복원을 제공한다.