[論文レビュー] Mathematics of Sparsity and Entropy: Axioms, Core Functions and Sparse Recovery

Giancarlo Pastor, Inmaculada Mora-Jiménez+2 more|arXiv (Cornell University)|Jan 21, 2015

Sparse and Compressive Sensing Techniques参考文献 41被引用数 21

ひとこと要約

本稿は、スパarsityとエントロピーをコア関数を通じて一元的に特徴づける公理的枠組みを導入し、ホイアー尺度、ジニ係数、RényiおよびTsallisエントロピーといった主要な尺度を一般化する。コアスパarsity関数は、圧縮センシングにおけるℓ₁最小化の理論的裏付けを提供し、スパース回復におけるその基盤的役割を示している。

ABSTRACT

Sparsity and entropy are pillar notions of modern theories in signal processing and information theory. However, there is no clear consensus among scientists on the characterization of these notions. Previous efforts have contributed to understand individually sparsity or entropy from specific research interests. This paper proposes a mathematical formalism, a joint axiomatic characterization, which contributes to comprehend (the beauty of) sparsity and entropy. The paper gathers and introduces inherent and first principles criteria as axioms and attributes that jointly characterize sparsity and entropy. The proposed set of axioms is constructive and allows to derive simple or \emph{core functions} and further generalizations. Core sparsity generalizes the Hoyer measure, Gini index and $pq$-means. Core entropy generalizes the Rényi entropy and Tsallis entropy, both of which generalize Shannon entropy. Finally, core functions are successfully applied to compressed sensing and to minimum entropy given sample moments. More importantly, the (simplest) core sparsity adds theoretical support to the $\ell_1$-minimization approach in compressed sensing.

研究の動機と目的

• 信号処理および情報理論におけるスパarsityとエントロピーの形式的特徴づけについての合意の欠如を解消すること。
• スパarsityとエントロピーの個別的取り扱いを、第一原理から統合する共同の公理的基盤を確立すること。
• 既存のスパarsityおよびエントロピー尺度を一般化する構成的コア関数を導出すること。
• 圧縮センシングやモーメント制約下での最小エントロピー推定といった実用的問題へのコア関数の応用。

提案手法

• スパarsityとエントロピーを一括して特徴づける、本質的かつ第一原理的な基準に基づく公理の集合を提案する。
• 公理系から最小で構成可能な表現としての「コア関数」を導出し、基礎的測度として機能する。
• コアスパarsityはホイアー尺度、ジニ係数、pq-平均を一般化する。コアエントロピーはRényiおよびTsallisエントロピーを一般化する。
• コアスパarsityを圧縮センシングに応用し、ℓ₁最小化が回復手法として理論的に正当化されることを示す。
• コア関数を用いて、標本モーメントが与えられたときの最小エントロピー問題を解き、実用的有用性を示す。

実験結果

リサーチクエスチョン

• RQ1 スパarsityとエントロピーを、統一された公理的枠組みを用いて形式的かつ共同的に特徴づける方法は何か？
• RQ2 既存のスパarsityおよびエントロピー尺度を一般化する最小で基本的な関数（コア関数）とは何か？
• RQ3 導出されたコア関数は、圧縮センシングにおけるℓ₁最小化といった標準的手法をどのように支援または正当化するか？
• RQ4 コア関数は、モーメント制約下での最小エントロピーといった制約付き最適化問題に応用可能か？
• RQ5 提案されたコア関数とシャノン、Rényi、Tsallisエントロピーといった確立された測度との理論的関係は何か？

主な発見

• 提案された公理的システムは、構成的かつ第一原理的な公理に基づき、スパarsityとエントロピーを効果的に統一した。
• コアスパarsityはホイアー尺度、ジニ係数、pq-平均を一般化し、スパarsityの定量化におけるより広範な理論的基盤を提供する。
• コアエントロピーはRényiおよびTsallisエントロピーを一般化し、これらはシャノンエントロピーをさらに一般化するため、エントロピー測度の範囲を拡張する。
• 最も単純なコアスパarsity関数は、圧縮センシングにおけるℓ₁最小化手法の理論的裏付けを提供する。
• コア関数は、標本モーメントが与えられたときの最小エントロピー問題に成功裏に応用され、実用的関連性が示された。
• この枠組みは、公理的原則と広く用いられる信号処理技術との間の基盤的リンクを確立し、理論的理解を強化した。