[논문 리뷰] Mathematics of Sparsity and Entropy: Axioms, Core Functions and Sparse Recovery

Giancarlo Pastor, Inmaculada Mora-Jiménez외 2명|arXiv (Cornell University)|2015. 01. 21.

Sparse and Compressive Sensing TechniquesEngineering참고 문헌 41인용 수 21

한 줄 요약

이 논문은 핵심 함수를 통해 희소성과 엔트로피를 동시에 특성화하는 통합된 공리적 프레임워크를 제안한다. 이는 훼이어 측정법, 지니 지수, 레니 및 츠allis 엔트로피와 같은 핵심 측정법을 일반화한다. 핵심 희소성 함수는 압축 감지에서 ℓ₁-최소화의 이론적 근거를 제공하며, 이는 희소 복원에서 핵심적인 역할을 한다.

ABSTRACT

Sparsity and entropy are pillar notions of modern theories in signal processing and information theory. However, there is no clear consensus among scientists on the characterization of these notions. Previous efforts have contributed to understand individually sparsity or entropy from specific research interests. This paper proposes a mathematical formalism, a joint axiomatic characterization, which contributes to comprehend (the beauty of) sparsity and entropy. The paper gathers and introduces inherent and first principles criteria as axioms and attributes that jointly characterize sparsity and entropy. The proposed set of axioms is constructive and allows to derive simple or \emph{core functions} and further generalizations. Core sparsity generalizes the Hoyer measure, Gini index and $pq$-means. Core entropy generalizes the Rényi entropy and Tsallis entropy, both of which generalize Shannon entropy. Finally, core functions are successfully applied to compressed sensing and to minimum entropy given sample moments. More importantly, the (simplest) core sparsity adds theoretical support to the $\ell_1$-minimization approach in compressed sensing.

연구 동기 및 목표

• 신호 처리 및 정보이론 분야에서 희소성과 엔트로피에 대한 공식적 특성화에 대한 합의 부족을 해결하기 위해.
• 기본 원칙에서 유도된 개별 희소성과 엔트로피의 처리를 통합하는 공동의 공리적 기초를 구축하기 위해.
• 기존의 희소성 및 엔트로피 측정법을 일반화하는 구조적 핵심 함수를 도출하기 위해.
• 압축 감지 및 모멘트 제약 조건 하에서 최소 엔트로피 추정과 같은 실용적 문제에 핵심 함수를 적용하기 위해.

제안 방법

• 희소성과 엔트로피를 동시에 특성화하는 데 기초한 본질적이고 기본 원칙에 기반한 공리 집합을 제안한다.
• 공리 체계에서 최소한의 구조적 표현으로서의 '핵심 함수'를 도출하며, 이는 기본 측정법으로서의 역할을 한다.
• 핵심 희소성은 훼이어 측정법, 지니 지수 및 pq-평균을 일반화하며, 핵심 엔트로피는 레니 및 츄allis 엔트로피를 일반화한다.
• 핵심 희소성을 압축 감지에 적용하여, ℓ₁-최소화가 복원 방법으로서 이론적으로 타당함을 보여준다.
• 핵심 함수를 사용하여 표본 모멘트가 주어진 조건 하에서 최소 엔트로피 문제를 해결함으로써 실용적 유용성을 입증한다.

실험 결과

연구 질문

• RQ1 어떻게 통합된 공리적 프레임워크를 통해 희소성과 엔트로피를 공식적이고 동시에 특성화할 수 있는가?
• RQ2 기존의 희소성 및 엔트로피 측정법을 일반화하는 데 기여하는 최소한의 기본 함수(핵심 함수)는 무엇인가?
• RQ3 유도된 핵심 함수는 압축 감지에서 ℓ₁-최소화와 같은 표준 방법을 어떻게 지원하거나 정당화하는가?
• RQ4 핵심 함수는 모멘트 제약 조건 하에서 최소 엔트로피와 같은 제약 최적화 문제에 적용될 수 있는가?
• RQ5 제안된 핵심 함수와 샤논, 레니, 츄allis 엔트로피와 같은 기존 측정법 사이의 이론적 관계는 무엇인가?

주요 결과

• 제안된 공리 체계는 구조적이고 기본 원칙에 기반한 공리들로 인해 희소성과 엔트로피를 성공적으로 통합한다.
• 핵심 희소성 함수는 훼이어 측정법, 지니 지수 및 pq-평균을 일반화하여, 희소성 측정의 더 넓은 이론적 기반을 제공한다.
• 핵심 엔트로피 함수는 레니 및 츄allis 엔트로피를 일반화하며, 이는 샤논 엔트로피를 일반화함으로써 엔트로피 측정법의 범위를 확장한다.
• 가장 단순한 핵심 희소성 함수는 압축 감지에서 ℓ₁-최소화 접근법의 이론적 근거를 제공한다.
• 핵심 함수는 표본 모멘트가 주어진 조건 하에서 최소 엔트로피 문제에 성공적으로 적용되어 실용적 관련성을 입증한다.
• 이 프레임워크는 공리적 원칙과 널리 사용되는 신호 처리 기법 사이에 기초적인 연결 고리를 설정하며, 이론적 이해를 향상시킨다.