[논문 리뷰] Informative Sensing

Hyun Sung Chang, Yair Weiss외 1명|ArXiv.org|2009. 01. 27.

Sparse and Compressive Sensing Techniques참고 문헌 24인용 수 10

한 줄 요약

이 논문은 신호와 그 선형 투영 간의 상호정보량을 최대화하는 최적의 압축 센싱 프레임워크로 정보 감지(informative sensing)를 제안한다. InfoMax 원리를 사용하여 무작위가 아니고 PCA도 아닌 투영—'불확실한 성분(uncertain components)'으로 불리는 것—을 유도하며, 이는 자연 이미지에서 특히 뛰어난 성능을 보이며, 저주파수 강조을 가진 밴드별 무작위 투영이 노이즈 하에서 거의 최적의 성능을 낼 수 있음을 보여준다.

ABSTRACT

Compressed sensing is a recent set of mathematical results showing that sparse signals can be exactly reconstructed from a small number of linear measurements. Interestingly, for ideal sparse signals with no measurement noise, random measurements allow perfect reconstruction while measurements based on principal component analysis (PCA) or independent component analysis (ICA) do not. At the same time, for other signal and noise distributions, PCA and ICA can significantly outperform random projections in terms of enabling reconstruction from a small number of measurements. In this paper we ask: given the distribution of signals we wish to measure, what are the optimal set of linear projections for compressed sensing? We consider the problem of finding a small number of linear projections that are maximally informative about the signal. Formally, we use the InfoMax criterion and seek to maximize the mutual information between the signal, x, and the (possibly noisy) projection y=Wx. We show that in general the optimal projections are not the principal components of the data nor random projections, but rather a seemingly novel set of projections that capture what is still uncertain about the signal, given the knowledge of distribution. We present analytic solutions for certain special cases including natural images. In particular, for natural images, the near-optimal projections are bandwise random, i.e., incoherent to the sparse bases at a particular frequency band but with more weights on the low-frequencies, which has a physical relation to the multi-resolution representation of images.

연구 동기 및 목표

• . 알려진 신호 분포를 바탕으로 압축 센싱을 위한 최적의 선형 투영을 규명한다.
• . 노이즈가 있거나 비희박 신호 영역에서 무작위, PCA 또는 ICA 투영의 한계를 해결한다.
• . 신호와 투영 간의 상호정보량을 최대화하는 새로운 센싱 프레임워크—'정보 감지(informative sensing)'—를 체계화한다.
• . 자연 이미지 포함 특정 신호 모델 하에서 최적의 투영에 대한 해석적 해를 도출한다.
• . 최적의 투영이 주로 성분이나 독립 성분이 아니며, 오히려 신호 분포의 잔여 불확실성을 포착한다는 점을 밝힌다.

제안 방법

• . 신호 x와 그 투영 y = Wx 간의 상호정보량 I(x; y)를 최대화하기 위해 InfoMax 원리를 사용한다.
• . 노이즈 없는 및 노이즈 있는 조건 하에서 I(x; y)를 최대화함으로써 최적의 W를 유도하며, 이는 신호 분산과 불확실성 감소 사이의 트레이드오프를 반영한다.
• . 노이즈 없는 설정에서는 엔트로피 h(y)를 최대화하는 것으로 간소화되며, 이는 측정되지 않은 성분의 엔트로피 h(z|y)를 최소화하는 것과 동치이다.
• . 노이즈 있는 설정에서는 신호-노이즈 분포를 모델링하고, 일반화된 가우시안 분포의 형태 매개변수를 도출하여 정보량을 정량화한다.
• . 고차원 투영에서 엔트로피를 추정하기 위해 기대 부분체적 행렬식을 계산하기 위해 동적 프로그래밍을 적용한다.
• . 웨이블릿 기반 분해와 밴드별 무작위 투영을 사용하여 자연 이미지 통계를 모델링하고 투영 설계를 최적화한다.

실험 결과

연구 질문

• RQ1 . 신호 분포가 알려진 경우, 압축 센싱을 위한 최적의 선형 투영은 무엇인가?
• RQ2 . 다양한 신호 및 노이즈 모델에서 InfoMax 기반 투영의 성능은 무작위, PCA 또는 ICA 투영과 비교해 어떻게 되는가?
• RQ3 . 왜 무작위 투영은 비백색 또는 구조적 신호, 예를 들어 자연 이미지에서는 실패하며, 이를 대체할 최적의 투영은 무엇인가?
• RQ4 . 자연 이미지와 같은 특정 신호 유형에서 최적의 투영에 대한 해석적 해를 도출할 수 있는가?
• RQ5 . 최적의 투영 구조는 다중해상도 이미지 표현과 주파수 밴드 특성과 어떻게 관련이 있는가?

주요 결과

• . 압축 센싱을 위한 최적의 투영은 주성분, 독립 성분, 또는 무작위 투영이 아니며, 오히려 신호 분포의 잔여 불확실성을 포착하는 새로운 유형의 투영이다.
• . 백색 희박 신호의 경우, 무작위 투영이 최적이다. 이는 엔트로피를 최대화하고 정보 손실를 최소화하기 때문이다.
• . 비백색 신호, 예를 들어 자연 이미지의 경우, 저주파수 밴드에 더 높은 가중치를 두는 밴드별 무작위 투영이 거의 최적이며, 무작위 및 PCA 투영보다 뛰어난 성능을 보인다.
• . 저SNR 영역에서는 불확실한 성분 분석(Uncertain Component Analysis, UCA) 투영이 재구성 품질에서 무작위 투영 및 Romberg 방법을 크게 능가한다.
• . UCA 방법은 신호 희박성과 노이즈 수준에 적응하여 다양한 조건에서 거의 최적의 성능을 달성한다.
• . 자연 이미지의 경우, 최적의 투영 구조는 다중해상도 이미지 표현과 일치하며, 각 밴드에서 희박 기저와의 비일관성을 유지하면서 저주파수 성분을 우선시한다.