[논문 리뷰] Blind Compressed Sensing Over a Structured Union of Subspaces

Jorge G. Silva, Minhua Chen외 3명|arXiv (Cornell University)|2011. 03. 12.

Sparse and Compressive Sensing Techniques참고 문헌 12인용 수 23

한 줄 요약

이 논문은 다중 센싱 행렬과 저질서 행렬 완성 이론을 활용하여, 한 블록 스퍼스 모델 하에서 복소 측정치로부터 동시에 사전학습된 딕셔너리 학습과 신호 복원을 수행하는 빔드 압축 센싱 프레임워크를 제안한다. 충분한 측정치와 신호가 확보된 경우, 블록 순열과 가역 변환을 제외한 유일한 복원이 높은 확률로 가능하다는 것을 증명하며, 수렴하는 교대 최소 제곱 알고리즘을 제시한다. 이 알고리즘은 최신 기술 수준의 PSNR 성능을 보이며 영상 복원에 적용되었다.

ABSTRACT

This paper addresses the problem of simultaneous signal recovery and dictionary learning based on compressive measurements. Multiple signals are analyzed jointly, with multiple sensing matrices, under the assumption that the unknown signals come from a union of a small number of disjoint subspaces. This problem is important, for instance, in image inpainting applications, in which the multiple signals are constituted by (incomplete) image patches taken from the overall image. This work extends standard dictionary learning and block-sparse dictionary optimization, by considering compressive measurements, e.g., incomplete data). Previous work on blind compressed sensing is also generalized by using multiple sensing matrices and relaxing some of the restrictions on the learned dictionary. Drawing on results developed in the context of matrix completion, it is proven that both the dictionary and signals can be recovered with high probability from compressed measurements. The solution is unique up to block permutations and invertible linear transformations of the dictionary atoms. The recovery is contingent on the number of measurements per signal and the number of signals being sufficiently large; bounds are derived for these quantities. In addition, this paper presents a computationally practical algorithm that performs dictionary learning and signal recovery, and establishes conditions for its convergence to a local optimum. Experimental results for image inpainting demonstrate the capabilities of the method.

연구 동기 및 목표

• 완전한 신호 관측이 불가능한 상황에서 복소 측정치로부터 신호 복원 및 딕셔너리 학습 문제를 해결하기 위해.
• 부족한 데이터 하에서 딕셔너리 학습 및 블록 스퍼스 딕셔너리 최적화를 압축 센싱 환경으로 확장하기 위해.
• 다중 센싱 행렬을 통합하고 학습된 딕셔너리에 대한 제약 조건을 완화함으로써 빔드 압축 센싱을 일반화하기 위해.
• 복소 측정치로부터 딕셔너리 및 신호의 유일한 복원이 가능한 이론적 조건을 설정하기 위해.
• 압축 센싱 환경에서 공동 딕셔너리 학습 및 신호 복원을 위한 실용적이고 수렴 보장이 되는 알고리즘을 개발하기 위해.

제안 방법

• 신호를 블록 구조에 의해 정의된 부분공간의 합집합 위에서의 한 블록 스퍼스 표현으로 모델링하며, 이는 알려지지 않은 딕셔너리 기반으로 가정한다.
• 저질서 행렬 완성 이론을 활용하기 위해 다중 센싱 행렬을 도입하여 계수 행렬의 구조적 스퍼스성을 이용해 복원을 가능하게 한다.
• 교대 최소 제곱 알고리즘을 사용하여 딕셔너리와 희박 계수를 반복적으로 갱신하며, 미약한 조건 하에서 수렴 보장을 갖는다.
• 중첩된 영상 패치를 신호로 간주하여 영상 복원에 적용하며, 패치 평균화를 통해 복원한다.
• 신호당 측정치 수와 고유한 복원을 위한 높은 확률로 성공하기 위해 필요한 신호 수에 대한 이론적 한계를 유도한다.
• 행렬 완성 결과를 활용하여, 솔루션이 블록 순열과 딕셔너리 원소의 가역 선형 변환을 제외한 유일성을 보장한다.

실험 결과

연구 질문

• RQ1 신호가 한 블록 스퍼스일 경우, 복소 측정치로부터 딕셔너리 학습과 신호 복원을 동시에 달성할 수 있는가?
• RQ2 어떤 조건에서 복소 측정치로부터 딕셔너리 및 신호가 등가 클래스를 제외한 유일하게 복원될 수 있는가?
• RQ3 다중 센싱 행렬은 빔드 압축 센싱에서 복원 성능과 이론적 보장을 어떻게 향상시키는가?
• RQ4 이 프레임워크에서 높은 확률로 복원하기 위해 필요한 최소한의 측정치 수(신호당)와 신호 수는 얼마인가?
• RQ5 제안된 교대 최소 제곱 알고리즘은 실질적으로 어떻게 작동하며, 국소 최적해로 수렴하는가?

주요 결과

• 50% 관측 픽셀에서 'Barbara' 영상의 경우 PSNR 27.93 dB, 'house' 영상의 경우 31.80 dB의 높은 품질의 영상 복원 성능을 달성한다.
• 단계 전이 분석 결과, 관측 픽셀 비율이 증가함에 따라 재구성 성능이 향상되며, 특히 더 높은 블록 크기에서 PSNR > 40 dB의 성공적인 재구성이 가능해진다.
• 알고리즘을 통해 학습된 딕셔너리 원소는 옷의 무늬나 배경과 같은 의미 있는 영상 구조를 포착하며, 유사한 패치는 동일한 딕셔너리 블록을 사용한다.
• 이론적 한계는 측정치 수(신호당)와 신호 수가 충분히 클 경우, 유일한 복원이 높은 확률로 가능하다는 것을 확인한다.
• 교대 최소 제곱 알고리즘은 미약한 조건 하에서 국소 최적해로 수렴하며, 파rameter 조정이나 철저한 초기화 없이도 강건한 성능을 보인다.
• 최대 블록 크기($k_{\text{max}}$)를 증가시키면 PSNR가 향상되며, 이는 모델의 단순성과 재구성 정확성 사이의 상충 관계를 보여준다.