[論文レビュー] An Open-Source Toolbox for Computer-Aided Investigation on the Fundamental Limits of Information Systems, Version 0.1

Chao Tian, James S. Plank+1 more|arXiv (Cornell University)|Oct 18, 2019

Computability, Logic, AI Algorithms被引用数 7

ひとこと要約

本論文は、線形計画法を用いて情報システムの基本的限界を分析するためのオープンソースツールボックスを紹介する。このツールボックスは、情報測度の境界を計算し、量の間のポリトープ的トレードオフ外境界を導出し、既知の不等式の重み付き和として証明を生成する。ソルバにはGurobiまたはCplexが使用される。

ABSTRACT

We provide an open source toolbox at this https URL to conduct computer-aided investigation on the fundamental limits of information systems. The toolbox relies on either Gurobi or Cplex as the linear program solving engine. The program can read a problem description file, and then fulfill the following tasks: 1) compute a bound for a given linear combination of information measures; 2) efficiently compute a polytope tradeoff outer bound between two information quantities; and 3) produce a proof (as a weighted sum of known information inequalities). This technical report provides an overview of this toolbox, a detailed description of the syntax of the problem description file, and a few example use cases.

研究の動機と目的

• 情報システムの基本的限界を体系的かつコンピュータ支援で調査することを可能にする。
• 線形結合された情報測度の境界を計算するツールを提供すること。
• 2つの情報量の間の効率的なポリトープ的トレードオフ外境界を生成すること。
• 既知の情報不等式の重み付き和として境界の形式的証明を生成すること。
• オープンソースソフトウェアを通じて、再現可能で検証可能な情報理論的限界の分析を支援すること。

提案手法

• ツールボックスは、最適化タスクにGurobiまたはCPLEXを基盤とする線形計画法ソルバとして使用する。
• ユーザーが定義した入力ファイルから、情報測度と制約を読み取る。
• 境界の計算を線形計画問題として定式化し、可能な限りきつい限界を特定する。
• 情報領域上で一連の線形計画問題を解くことで、ポリトープ的トレードオフ外境界を構築する。
• 境界を既知の情報不等式の凸結合として表現することで証明を生成する。
• 自動検証および機械可読・人間可読形式での数学的証明の出力をサポートする。

実験結果

リサーチクエスチョン

• RQ1 与えられた情報測度の線形結合について、達成可能な最もきつい境界は何か？
• RQ2 2つの情報量の間のトレードオフ領域を効率的にポリトープとして特徴づける方法は何か？
• RQ3 既知の情報不等式を体系的に組み合わせることで、検証可能な方法で新しい境界を証明できるか？
• RQ4 計算支援を用いて情報システムの基本的限界をどのように探求できるか？
• RQ5 線形計画法は、情報理論的境界の自動導出において果たす役割は何か？

主な発見

• ツールボックスは、線形計画法を用いて情報測度の線形結合の境界を正常に計算できる。
• 2つの情報量の間のポリトープ的トレードオフ外境界を効率的に生成できる。
• システムは、既知の情報不等式の重み付き和として境界の形式的証明を生成する。
• GurobiまたはCPLEXの統合により、複雑な情報理論的最適化問題の高性能な解法が可能になった。
• 検証可能で機械検査可能な証明を提供するため、ツールは再現可能な研究を支援する。
• ツールボックスのオープンソース性により、情報理論的結果のコミュニティによる拡張と検証が促進される。