[論文レビュー] Informative Sensing

Hyun Sung Chang, Yair Weiss+1 more|ArXiv.org|Jan 27, 2009

Sparse and Compressive Sensing Techniques参考文献 24被引用数 10

ひとこと要約

本稿は、信号とその線形射影間の相互情報量を最大化する最適な圧縮センシングフレームワークとして、情報的センシングを提案する。InfoMax原理を用いることで、非ランダムでPCAでもない射影——「不確実性成分」と呼ばれるもの——を導出し、特にノイズ下での自然画像においては、低周波数強調型のバンド別ランダム射影がほぼ最適な性能を示し、ランダムおよび従来のPCA/ICA射影を上回る。

ABSTRACT

Compressed sensing is a recent set of mathematical results showing that sparse signals can be exactly reconstructed from a small number of linear measurements. Interestingly, for ideal sparse signals with no measurement noise, random measurements allow perfect reconstruction while measurements based on principal component analysis (PCA) or independent component analysis (ICA) do not. At the same time, for other signal and noise distributions, PCA and ICA can significantly outperform random projections in terms of enabling reconstruction from a small number of measurements. In this paper we ask: given the distribution of signals we wish to measure, what are the optimal set of linear projections for compressed sensing? We consider the problem of finding a small number of linear projections that are maximally informative about the signal. Formally, we use the InfoMax criterion and seek to maximize the mutual information between the signal, x, and the (possibly noisy) projection y=Wx. We show that in general the optimal projections are not the principal components of the data nor random projections, but rather a seemingly novel set of projections that capture what is still uncertain about the signal, given the knowledge of distribution. We present analytic solutions for certain special cases including natural images. In particular, for natural images, the near-optimal projections are bandwise random, i.e., incoherent to the sparse bases at a particular frequency band but with more weights on the low-frequencies, which has a physical relation to the multi-resolution representation of images.

研究の動機と目的

• . 既知の信号分布が与えられたもとでの、圧縮センシングに最適な線形射影を特定すること。
• . ノイズ環境や非スパース信号領域におけるランダム、PCA、ICA射影の限界を解消すること。
• . 信号とその射影間の相互情報量を最大化する新しいセンシングフレームワーク——「情報的センシング」——を形式化すること。
• . 自然画像を含む特定の信号モデルにおける最適射影の解析的解を導出すること。
• . 最適射影が主成分や独立成分ではなく、信号分布における残存不確実性を捉えるものであることを示すこと。

提案手法

• . 信号xとその射影y = Wx間の相互情報量I(x; y)を最大化するInfoMax原理を用いる。
• . ノイズなしおよびノイズありの状況下でI(x; y)を最大化する最適Wを導出し、信号分散と不確実性低減のトレードオフを生じさせる。
• . ノイズなし設定では、エントロピーh(y)を最大化する問題に帰着され、これは未測定成分のエントロピーh(z|y)を最小化することに等しい。
• . ノイズあり設定では、信号＋ノイズ分布をモデル化し、一般化ガウス分布の形状母数を用いて情報量を定量化する。
• . 動的計画法を用いて、高次元射影におけるエントロピー推定のための期待サブボリューム行列式を計算する。
• . ディスクリートウェーブレット変換とバンド別ランダム射影を用い、自然画像統計をモデル化し、射影設計を最適化する。

実験結果

リサーチクエスチョン

• RQ1 . 信号分布が既知である場合、圧縮センシングにおける最適な線形射影は何か？
• RQ2 . InfoMaxに基づく射影の性能は、さまざまな信号およびノイズモデルにおいて、ランダム、PCA、ICA射影と比べてどう異なるか？
• RQ3 . ランダム射影が非ホワイトまたは構造的信号（自然画像など）ではなぜ失敗するのか？それらに代わる最適な代替手段は何か？
• RQ4 . 自然画像などの特定の信号クラスにおいて、最適射影の解析的解を導出できるか？
• RQ5 . 最適射影構造は、マルチスケール画像表現および周波数バンド特性とどのように関係するか？

主な発見

• . 圧縮センシングにおける最適射影は、主成分や独立成分、ランダム射影ではなく、信号分布における残存不確実性を捉える、まったく新しい射影群である。
• . ホワイトでスパースな信号では、ランダム射影が最適であり、エントロピーを最大化し、情報損失を最小化する。
• . ノイズ下の非ホワイト信号、特に自然画像では、低周波数バンドに高い重みを置いたバンド別ランダム射影がほぼ最適であり、ランダムおよびPCA射影を上回る。
• . 低SNR領域では、不確実性成分分析（UCA）射影が、ランダム射影およびRomberg法の両方を著しく上回る再構成品質を達成する。
• . UCA法は信号のスパarsityとノイズレベルに適応し、多様な条件下でほぼ最適な性能を達成する。
• . 自然画像においては、最適射影構造がマルチスケール画像表現と整合し、各バンドにおいてスパース基底と非整合性を持つ低周波数コンテンツを優先する。