[论文解读] Decision Problems in Information Theory

Mahmoud Abo Khamis, Phokion G. Kolaitis+2 more|arXiv (Cornell University)|Jan 1, 2020

Computability, Logic, AI Algorithms参考文献 42被引用 12

一句话总结

本文研究信息论中决策问题的算法复杂度，特别关注熵约束有效性的判定。它将各类信息不等式——如布尔组合、带松弛的条件不等式以及最大值不等式——置于皮亚诺算术层次中，确立了检查紧致条件不等式有效性的复杂度属于 Π₀³，而最大值不等式的有效性与标准不等式图灵等价。

ABSTRACT

Constraints on entropies are considered to be the laws of information theory. Even though the pursuit of their discovery has been a central theme of research in information theory, the algorithmic aspects of constraints on entropies remain largely unexplored. Here, we initiate an investigation of decision problems about constraints on entropies by placing several different such problems into levels of the arithmetical hierarchy. We establish the following results on checking the validity over all almost-entropic functions: first, validity of a Boolean information constraint arising from a monotone Boolean formula is co-recursively enumerable; second, validity of "tight" conditional information constraints is in $Π^0_3$. Furthermore, under some restrictions, validity of conditional information constraints "with slack" is in $Σ^0_2$, and validity of information inequality constraints involving max is Turing equivalent to validity of information inequality constraints (with no max involved). We also prove that the classical implication problem for conditional independence statements is co-recursively enumerable.

研究动机与目标

• 本文旨在系统研究熵约束的算法方面，这些约束被视为‘信息论的定律’。
• 它研究了各种类型信息不等式（包括条件不等式、基于最大值的不等式以及布尔组合）的有效性判定的可判定性与复杂度。
• 该研究填补了对信息定律算法复杂度理解的空白，特别是因为线性信息不等式的可判定性问题至今仍未解决。
• 它特别关注熵向量（Γ*ₙ）与其拓扑闭包（Γ̄*ₙ）之间的区别，尤其是在条件独立性蕴含关系的语境下。
• 其目标包括将决策问题置于皮亚诺算术层次中，以更好地理解其逻辑与计算结构。

提出的方法

• 作者引入了一种广义的布尔信息约束框架，定义为线性信息不等式的布尔组合。
• 通过使用量词交替来刻画复杂度，将问题置于皮亚诺算术层次的层级中，分析有效性判定的逻辑复杂度。
• 对于条件不等式，他们定义了‘紧致’与‘松弛’两种变体，其中紧致不等式对应于条件独立性陈述。
• 他们使用具有有理概率的可表示概率空间来建模熵，作为有理数对数的表达式，从而实现对熵向量的形式化处理。
• 通过证明任意最大值不等式可归约为单个线性不等式，建立了最大值不等式与标准不等式之间的图灵等价性。
• 他们证明了条件独立性陈述的蕴含问题属于 co-递归可枚举（Π₀¹），并首次给出了其复杂度的上界。

实验结果

研究问题

• RQ1 由单调布尔公式（如最大值不等式）导出的布尔信息约束的有效性检查，其算法复杂度是什么？
• RQ2 具有‘紧致’前件的条件信息不等式有效性是否可判定？若是，其所属的复杂度类为何？
• RQ3 前件中存在‘松弛’时，如何影响条件信息不等式有效性的复杂度？
• RQ4 最大值不等式在可判定性与复杂度方面是否与标准线性信息不等式计算等价？
• RQ5 离散型随机变量之间条件独立性陈述的蕴含问题的复杂度是多少？

主要发现

• 由单调布尔公式（包括最大值不等式）导出的布尔信息约束的有效性属于 Π₀¹，即 co-递归可枚举。
• 表达为条件独立性的‘紧致’条件信息不等式有效性属于 Π₀³，表明其具有较高的逻辑复杂度。
• 具有‘松弛’与群平衡前件的条件不等式属于 Σ₀²，其复杂度低于紧致情形。
• 最大值不等式与标准信息不等式图灵等价，意味着其并未增加计算难度。
• 条件独立性陈述的蕴含问题属于 Π₀¹，首次提供了其复杂度的已知上界。
• 熵向量可识别性问题（即给定向量是否为熵向量）属于 Σ₀¹，而几乎熵向量可识别性问题属于 Π₀²。