[論文レビュー] A Unified Framework for Problems on Guessing, Source Coding and Task Partitioning

M. Ashok Kumar, Albert Sunny+2 more|arXiv (Cornell University)|Jul 16, 2019

Wireless Communication Security Techniques参考文献 16被引用数 4

ひとこと要約

本稿では、RényiエントロピーとSundaresanの発散を用いて、ソース符号化、推測、タスク分割問題を統一的な最適化枠組みで結びつける。Campbellの積率最小化とArikanの推測問題を一般化することで、Rényiエントロピーを用いた下界を導出し、不一致設定への拡張も行い、これらの情報理論的問題間に深い構造的類似性を明らかにした。

ABSTRACT

We study four problems namely, Campbell's source coding problem, Arikan's guessing problem, Huieihel et al.'s memoryless guessing problem, and Bunte and Lapidoth's task partitioning problem. We observe a close relationship among these problems. In all these problems, the objective is to minimize moments of some functions of random variables, and Rényi entropy and Sundaresan's divergence arise as optimal solutions. This motivates us to establish a connection among these four problems. In this paper, we study a more general problem and show that Rényi and Shannon entropies arise as its solution. We show that the problems on source coding, guessing and task partitioning are particular instances of this general optimization problem, and derive the lower bounds using this framework. We also refine some known results and present new results for mismatched version of these problems using a unified approach. We strongly feel that this generalization would, in addition to help in understanding the similarities and distinctiveness of these problems, also help to solve any new problem that falls in this framework.

研究の動機と目的

• 情報理論における一見異なる問題—ソース符号化、推測、タスク分割—を、一つの数学的最適化枠組みで統一すること。
• RényiエントロピーとSundaresanの発散が、これらの問題の最適解として自然に現れることを示すこと。
• 提案された一般化を用いて、既知の結果を精緻化し、不一致設定におけるこれらの問題の新たな境界を導出すること。
• 構造的類似性と相違点を強調することで、この統一的フレームワークに属する新しい問題を解く基盤を提供すること。

提案手法

• 確率変数の関数のモーメントを最小化する一般化された最適化問題を定式化し、Rényiエントロピーを最適解とする。
• Campbellの積率最小化原理を応用して、ソース符号化の境界を導出し、Sundaresanの発散を用いて不一致設定への拡張を実施する。
• Rényiエントロピーと相対α-Rényiエントロピー（Sundaresanの発散）の双対性を活用し、問題間の下界を統一する。
• Rényiエントロピーの性質、特にα→1における極限挙動（シャノンエントロピーに還元）を活用して、漸近的結果を統一する。
• 分配関数を構築し、確率的不等式（例：Hölderの不等式）を用いて、推測および分割関数のモーメントの境界を導出する。
• 変分法および確率分布上の最適化を用いて、境界のタイトネスと漸近的収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 ソース符号化、推測、タスク分割問題を、一つの最適化枠組みでどのように統一できるか？
• RQ2 Rényiエントロピーは、符号長、推測回数、分割関数のモーメントを最小化する際に果たす役割は何か？
• RQ3 不一致分布がこれらの問題の性能境界に与える影響は何か？相対α-Rényiエントロピーを用いて定量的に評価可能か？
• RQ4 長大な系列の極限において、推測および符号化のモーメントの漸近的挙動はRényiエントロピーを用いて特徴付け可能か？
• RQ5 このフレームワークは、連続的または無限状態空間における情報理論の新しい問題にどのような意味を持つのか？

主な発見

• 一般化された最適化枠組みにより、ソース符号化、推測、タスク分割が統一され、確率変数の関数のモーメントを最小化する最適解としてRényiエントロピーが自然に出現する。
• 推測問題に関して、本稿では、n→∞におけるAₙ(Xⁿ)ᵖの期待値が、log N > Hₐ(P) かつ ρ > 0 のとき limₙ→∞𝔼[Aₙ(Xⁿ)ᵖ] = 1 を満たすことを確立しており、漸近的最適性を示している。
• log N < Hₐ(P) の場合、ρ次のモーメントはn→∞に伴い無限大に発散するため、アルファベットサイズとRényiエントロピーに依存する性能の鋭い閾値が存在することが示された。
• 不一致ケースはSundaresanの発散を用いて分析され、不一致分布に起因するペナルティがIₐ(P,Q)で記述されることを示し、Campbellの結果を一般αに拡張した。
• 本フレームワークにより、3つの問題すべてに対してタイトな下界が得られ、それぞれの状況でRényiエントロピーHₐ(P)が根本的な限界として機能することが明らかになった。
• 本稿では、最適な分割関数A(x)がA(x) = Z_Q,α / (N Q(x)^α) と表現可能であることを証明し、問題間での最適解の構造を結びつけた。