[论文解读] Mathematics of Sparsity and Entropy: Axioms, Core Functions and Sparse Recovery

Giancarlo Pastor, Inmaculada Mora-Jiménez+2 more|arXiv (Cornell University)|Jan 21, 2015

Sparse and Compressive Sensing TechniquesEngineering参考文献 41被引用 21

一句话总结

本文提出了一套统一的公理化框架，通过核心函数联合刻画稀疏性和熵，推广了关键度量如Hoyer度量、基尼指数、Rényi熵和Tsallis熵。核心稀疏性函数为压缩感知中的ℓ₁-最小化提供了理论依据，证明了其在稀疏恢复中的基础性作用。

ABSTRACT

Sparsity and entropy are pillar notions of modern theories in signal processing and information theory. However, there is no clear consensus among scientists on the characterization of these notions. Previous efforts have contributed to understand individually sparsity or entropy from specific research interests. This paper proposes a mathematical formalism, a joint axiomatic characterization, which contributes to comprehend (the beauty of) sparsity and entropy. The paper gathers and introduces inherent and first principles criteria as axioms and attributes that jointly characterize sparsity and entropy. The proposed set of axioms is constructive and allows to derive simple or \emph{core functions} and further generalizations. Core sparsity generalizes the Hoyer measure, Gini index and $pq$-means. Core entropy generalizes the Rényi entropy and Tsallis entropy, both of which generalize Shannon entropy. Finally, core functions are successfully applied to compressed sensing and to minimum entropy given sample moments. More importantly, the (simplest) core sparsity adds theoretical support to the $\ell_1$-minimization approach in compressed sensing.

研究动机与目标

• 解决信号处理与信息论中稀疏性和熵的正式刻画缺乏共识的问题。
• 从第一性原理出发，建立统一的稀疏性与熵的联合公理基础。
• 推导出可构造的核心函数，以推广现有的稀疏性与熵度量。
• 将核心函数应用于实际问题，如压缩感知和矩约束下的最小熵估计。

提出的方法

• 基于内在属性与第一性原理标准，提出一组联合刻画稀疏性与熵的公理。
• 从公理系统中推导出‘核心函数’，作为最小且可构造的表示形式，作为基础度量。
• 核心稀疏性推广了Hoyer度量、基尼指数与pq-均值；核心熵推广了Rényi与Tsallis熵。
• 将核心稀疏性应用于压缩感知，证明了ℓ₁-最小化作为恢复方法的理论合理性。
• 利用核心函数求解给定样本矩下最小熵的问题，展示了其实际应用价值。

实验结果

研究问题

• RQ1 如何通过统一的公理化框架，正式且联合地刻画稀疏性与熵？
• RQ2 哪些是最小的、基本的函数（核心函数），能够推广现有的稀疏性与熵度量？
• RQ3 所推导的核心函数如何支持或证明压缩感知中标准方法（如ℓ₁-最小化）的合理性？
• RQ4 核心函数能否应用于约束优化问题，如矩约束下的最小熵问题？
• RQ5 所提出的核函数与既有的度量（如Shannon、Rényi与Tsallis熵）之间存在何种理论关系？

主要发现

• 所提出的公理系统成功通过一组可构造的第一性原理公理，统一了稀疏性与熵。
• 核心稀疏性推广了Hoyer度量、基尼指数与pq-均值，为稀疏性量化提供了更广泛的理论基础。
• 核心熵推广了Rényi与Tsallis熵，而后者又推广了Shannon熵，从而扩展了熵度量的适用范围。
• 最简单的核心稀疏性函数为压缩感知中ℓ₁-最小化方法提供了理论依据。
• 核心函数成功应用于给定样本矩下的最小熵问题，展示了其实际相关性。
• 该框架在公理原则与广泛使用的信号处理技术之间建立了基础性联系，增强了理论理解。