[논문 리뷰] Extremal relations between shannon entropy and ℓ α -norm

Yuta Sakai, Ken‐ichi Iwata|arXiv (Cornell University)|2016. 10. 01.

Wireless Communication Security Techniques참고 문헌 16인용 수 1

한 줄 요약

이 논문은 n ≤ 2인 n차원 확률 벡터에 대해 샤논 엔트로피와 ℓα-노름 사이의 날카운 경계를 분석적 최적화를 통해 유도함으로써 날카로운 경계를 확립한다. 이 결과들은 균일한 입력 분포 하에서 상호정보량과 갈라저의 신뢰성 함수 E₀와 같은 정보 측정치를 제한하는 데 응용되며, 통신 시스템에 대해 날카로운 이론적 한계를 도출한다.

ABSTRACT

The paper examines the relationships between the Shannon entropy and the l α -norm for n-dimensional probability vectors, n ≤ 2. More precisely, we investigate the sharp bounds on the l α -norm with a fixed Shannon entropy, and vice versa. As applications of the results, we derive the sharp bounds between the Shannon entropy and several information measures which are determined by the l α -norm. Moreover, we apply these results to uniformly focusing channels. Then, we show the sharp bounds on Gallager's reliability functions E 0 with a fixed mutual information under a uniform input distribution.

연구 동기 및 목표

• 낮은 차원의 확률 벡터(n ≤ 2)에 대해 샤논 엔트로피와 ℓα-노름 사이의 날카로운 분석적 경계를 유도하는 것.
• 두 방향 모두에서 극값 관계를 조사하는 것: 엔트로피를 고정하고 ℓα-노름을 경계하는 것과 그 반대.
• ℓα-노름을 통해 정의된 정보 측정치, 예를 들어 상호정보량과 갈라저의 E₀ 함수와 같은 것들에 이러한 경계를 적용하는 것.
• 균일한 입력 분포 하에서 상호정보량이 고정된 조건에서 갈라저의 신뢰성 함수 E₀에 대한 날카로운 경계를 설정하는 것.

제안 방법

• 고정된 샤논 엔트로피 제약 조건 하에서 ℓα-노름의 극값을 찾기 위해 변분 최적화 기법을 사용하는 것.
• 확률 단체 위에서 제약 최적화 문제를 해결하기 위해 라그랑주 승수와 대칭성 원리를 활용하는 것.
• 주어진 엔트로피 수준에서 도달 가능한 최소 및 최대 ℓα-노름에 대한 닫힌 형태의 표현식을 유도하는 것.
• 정보이론적 측정치를 ℓα-노름으로 표현함으로써 유도된 경계를 응용하는 것.
• 균일한 집중 채널을 분석하여 균일한 입력 분포 하에서의 입력-출력 행동을 모델링하는 것.
• 엔트로피와 ℓα-노름 사이의 이중성 관계를 활용하여 상호정보량으로 표현된 갈라저의 E₀ 함수를 경계하는 것.

실험 결과

연구 질문

• RQ1 n ≤ 2인 n차원 확률 벡터에서 주어진 샤논 엔트로피 값에 대해 ℓα-노름의 가장 날카로운 상한 및 하한은 무엇인가?
• RQ2 ℓα-노름의 극값 값은 샤논 엔트로피의 범위를 어떻게 제약하는가?
• RQ3 입력 분포가 균일할 경우 이러한 경계는 상호정보량에 어떤 함의를 갖는가?
• RQ4 ℓα-노름 기반 경계는 고정된 상호정보량 하에서 갈라저의 신뢰성 함수 E₀를 특성화하는 데 어떻게 확장될 수 있는가?
• RQ5 균일하게 집중하는 채널에서 엔트로피와 ℓα-노름 사이의 최적 트레이드오프는 무엇인가?

주요 결과

• n ≤ 2에 대해 샤논 엔트로피의 함수로 ℓα-노름에 대한 날카로운 상한 및 하한이 도출되었으며, 명시적인 분석적 표현식을 포함한다.
• 극값 ℓα-노름 값은 α의 값과 엔트로피에 따라 대칭 또는 경계 확률 벡터에서 발생한다.
• ℓα-노름 관계로부터 도출된 상호정보량 경계는 날카롭고 균일하게 집중하는 채널에 적용 가능하다.
• 균일한 입력 하에서 상호정보량으로 표현된 갈라저의 E₀ 함수는 엔트로피-ℓα-노름 이중성에 의해 명시적인 극값을 도출함으로써 경계가 된다.
• 결과적으로 ℓα-노름은 낮은 차원 환경에서 엔트로피의 강력한 대체 측정치를 제공하며, 더 날카로운 정보이론적 경계를 가능하게 한다.
• 변분 방법을 통해 증명된 바와 같이, 추가 제약 조건 없이 이러한 경계는 최적이며 향상될 수 없다.