[論文レビュー] Universal proofs of entropic continuity bounds via majorization flow

Eric P. Hanson, Nilanjana Datta|arXiv (Cornell University)|Sep 16, 2019

Statistical Mechanics and Entropy参考文献 31被引用数 6

ひとこと要約

本稿は、全 variation 距離の球内における主要化順序のもとで確率ベクトルの極値的経路を追跡する、新しい力学的枠組み「主要化フロー」を導入する。これにより、スキュール凸なエントロピー関数の連続性バインディングの普遍的で単純な証明が可能となり、$\alpha > 1$ のときの $\alpha$-Rényi エントロピーのタイトなリプシッツ連続性バインディングが確立され、方向微分を用いた流れに沿った解析により明示的な最適リプシッツ定数が導出される。

ABSTRACT

We introduce a notion of majorization flow, and demonstrate it to be a powerful tool for deriving simple and universal proofs of continuity bounds for entropic functions relevant in information theory. In particular, for the case of the alpha-Rényi entropy, whose connections to thermodynamics are discussed in this article, majorization flow yields a Lipschitz continuity bound for the case alpha > 1, thus resolving an open problem and providing a substantial improvement over previously known bounds.

研究の動機と目的

• 情報理論におけるエントロピー関数の連続性バインディングを証明する普遍的枠組みを構築すること。
• $\alpha > 1$ のときの $\alpha$-Rényi エントロピーのリプシッツ連続性という未解決の問題を解消すること。
• 一様な幾何的フローを用いて、Rényi、Tsallis、統合的、$f$-発散に基づく、およびconcurrenceといった多様なエントロピーの証明を統一すること。
• スキュール凸関数が確率単体上でリプシッツ連続であるための必要十分条件を確立すること。
• 量子設定におけるトレース距離と古典設定における全 variation 距離を結びつけることで、連続性解析に主要化フローを応用すること。

提案手法

• 全 variation 距離の $\varepsilon$-ボール内における主要化順序の最小および最大要素を追跡する連続的経路として、主要化フローの概念を導入する。
• 主要化フローの生成子を導出し、エントロピー関数の勾配に基づく微分方程式系によってその発展を特徴付ける。
• 流れに沿ったエントロピー関数の変化を表す方向微分の公式（式8）を確立し、連続性解析を可能にする。
• Rényi や Tsallis エントロピーを含む広範なクラスである $(h,\phi)$-エントロピーにこのフローを適用し、一様な連続性バインディングを導出する。
• 単体上での勾配の振る舞いを用いて、スキュール凸関数のリプシッツ連続性に関する必要十分条件を導出する。
• フレームワークを具体的なエントロピーに適用し、$\alpha$-Rényi および $\alpha$-Tsallis エントロピーが $\alpha > 1$ のときかつそのときに限りリプシッツ連続であることを証明し、明示的な最適定数を導出する。

実験結果

リサーチクエスチョン

• RQ1 情報理論における多様なエントロピー関数の連続性バインディングを証明する統一的で幾何的枠組みを構築できるか？
• RQ2 $\alpha > 1$ のときの $\alpha$-Rényi エントロピーの最適リプシッツ定数は何か？また、その値は存在するか？
• RQ3 主要化順序と全 variation 距離がどのように作用し、$\varepsilon$-ボール内での極値的確率ベクトルを定義するか？
• RQ4 スキュール凸関数が全確率単体上でリプシッツ連続であるための条件は何か？
• RQ5 主要化フローを用いて、古典的および量子的エントロピーの両方を統一的にタイトな連続性バインディングに導けるか？

主な発見

• $\alpha$-Rényi エントロピーは $\alpha > 1$ のときかつそのときに限りリプシッツ連続であり、2017年の Beyond I.I.D. サンプセミナーで長年にわたり未解決であった問題を解決する。
• $\alpha > 1$ のとき、$\alpha$-Rényi エントロピーの最適リプシッツ定数は有界であり、主要化フロー枠組みを用いて明示的なバインディングが導出される。
• $\alpha$-Tsallis エントロピーは $\alpha > 1$ のときかつそのときに限りリプシッツ連続であり、最適リプシッツ定数が明示的に特定される。
• すべての滑らか化された凸型 $(h,\phi)$-エントロピーは、主要化フローおよびその方向微分の性質を用いてリプシッツ連続であることが証明される。
• 主要化フローは、Rényi、Tsallis、統合的エントロピーを含む広範なエントロピークラスの連続性バインディングを導出する普遍的な手法を提供し、$\varepsilon$-ボール内の最小および最大ベクトルが中心的役割を果たす。
• 衝突エントロピーに関しては、$M < \infty$ のとき、最適リプシッツ定数は $N$ に等しく、アルファベットサイズ $M$ に依存せず、このバインディングはタイトである。