[论文解读] An Open-Source Toolbox for Computer-Aided Investigation on the Fundamental Limits of Information Systems, Version 0.1

Chao Tian, James S. Plank+1 more|arXiv (Cornell University)|Oct 18, 2019

Computability, Logic, AI Algorithms被引用 7

一句话总结

本文介绍了一款开源工具箱，用于通过线性规划分析信息系统的根本极限。该工具箱可计算信息度量的边界，推导出数量之间的多面体权衡外边界，并将证明作为已知不等式的加权和生成，利用 Gurobi 或 Cplex 作为求解器。

ABSTRACT

We provide an open source toolbox at this https URL to conduct computer-aided investigation on the fundamental limits of information systems. The toolbox relies on either Gurobi or Cplex as the linear program solving engine. The program can read a problem description file, and then fulfill the following tasks: 1) compute a bound for a given linear combination of information measures; 2) efficiently compute a polytope tradeoff outer bound between two information quantities; and 3) produce a proof (as a weighted sum of known information inequalities). This technical report provides an overview of this toolbox, a detailed description of the syntax of the problem description file, and a few example use cases.

研究动机与目标

• 实现对信息系统基本极限的系统化、计算机辅助研究。
• 提供一种计算信息度量线性组合边界的工具。
• 生成成对信息量之间的高效多面体权衡外边界。
• 将边界证明以已建立的信息不等式加权和的形式生成。
• 通过开源软件支持可重现且可验证的信息理论极限分析。

提出的方法

• 该工具箱使用 Gurobi 或 CPLEX 作为底层线性规划求解器，用于优化任务。
• 从用户定义的输入文件读取问题描述，指定信息度量和约束条件。
• 将边界计算表述为线性规划问题，以确定最紧可能的边界。
• 通过在信息区域上求解一系列线性规划问题，构建多面体权衡外边界。
• 通过将边界表示为已知信息不等式的凸组合来生成证明。
• 该系统支持自动化验证，并以机器可读和人类可读格式输出数学证明。

实验结果

研究问题

• RQ1 对于给定的信息度量线性组合，可达到的最紧边界是什么？
• RQ2 如何高效地将两个信息量之间的权衡区域表征为多面体？
• RQ3 能否系统性地组合已知的信息不等式，以可验证的方式证明新边界？
• RQ4 如何借助计算手段探索信息系统的根本极限？
• RQ5 线性规划在自动化推导信息理论边界中扮演什么角色？

主要发现

• 该工具箱成功使用线性规划计算了信息度量线性组合的边界。
• 它高效地生成了成对信息量之间的多面体权衡外边界。
• 该系统将边界证明以已知信息不等式加权和的形式生成。
• 集成 Gurobi 或 CPLEX 使得复杂信息理论优化问题的高性能求解成为可能。
• 该工具通过提供可验证、机器可检查的推导边界证明，支持可重现研究。
• 该工具箱的开源特性促进了信息理论结果的社区扩展与验证。