[논문 리뷰] An Open-Source Toolbox for Computer-Aided Investigation on the Fundamental Limits of Information Systems, Version 0.1

Chao Tian, James S. Plank외 1명|arXiv (Cornell University)|2019. 10. 18.

Computability, Logic, AI Algorithms인용 수 7

한 줄 요약

이 논문은 선형 프로그래밍을 사용하여 정보 시스템의 기본 한계를 분석하기 위한 오픈소스 도구상자를 소개한다. 이 도구상자는 정보 측정치의 경계를 계산하고, 양의 정보 양들 사이의 폴리토프 트레이드오프 외부 경계를 도출하며, 알려진 부등식의 가중합으로서 증명을 생성한다. 이 과정에서 Gurobi 또는 Cplex가 해법기로 사용된다.

ABSTRACT

We provide an open source toolbox at this https URL to conduct computer-aided investigation on the fundamental limits of information systems. The toolbox relies on either Gurobi or Cplex as the linear program solving engine. The program can read a problem description file, and then fulfill the following tasks: 1) compute a bound for a given linear combination of information measures; 2) efficiently compute a polytope tradeoff outer bound between two information quantities; and 3) produce a proof (as a weighted sum of known information inequalities). This technical report provides an overview of this toolbox, a detailed description of the syntax of the problem description file, and a few example use cases.

연구 동기 및 목표

• 정보 시스템의 기본 한계를 체계적이고 컴퓨터 기반으로 탐구할 수 있도록 지원하는 것.
• 정보 측정치의 선형 조합에 대한 경계를 계산하는 도구를 제공하는 것.
• 두 개의 정보 측정치 사이의 효율적인 폴리토프 트레이드오프 외부 경계를 생성하는 것.
• 기존 정보 부등식의 가중합으로서 경계의 형식적 증명을 생성하는 것.
• 오픈소스 소프트웨어를 통해 복제 가능하고 검증 가능한 정보 이론적 한계 분석을 지원하는 것.

제안 방법

• 도구상자는 최적화 작업을 위해 Gurobi 또는 CPLEX를 기반으로 하는 선형 프로그래밍 해법기로 구성된다.
• 사용자가 정의한 입력 파일에서 정보 측정치와 제약 조건을 읽는다.
• 가장 날카로운 가능한 경계를 결정하기 위해 경계 계산을 선형 프로그래밍으로 공식화한다.
• 정보 영역 위에서 일련의 선형 프로그래밍 문제를 풀어 폴리토프 트레이드오프 외부 경계를 구성한다.
• 경계를 알려진 정보 부등식의 볼록 조합으로 표현하여 증명을 생성한다.
• 자동 검증 및 기계로 읽을 수 있고 인간이 읽을 수 있는 형식으로 수학적 증명을 출력하는 것을 지원한다.

실험 결과

연구 질문

• RQ1 주어진 정보 측정치의 선형 조합에 대해 도달 가능한 가장 날카로운 경계는 무엇인가?
• RQ2 두 개의 정보 측정치 사이의 트레이드오프 영역을 폴리토프로 효율적으로 특성화할 수 있는가?
• RQ3 기존의 정보 부등식을 체계적으로 조합하여 검증 가능한 방식으로 새로운 경계를 증명할 수 있는가?
• RQ4 컴퓨터 지원을 통해 정보 시스템의 기본 한계를 어떻게 탐색할 수 있는가?
• RQ5 선형 프로그래밍은 정보 이론적 경계 유도를 자동화하는 데 어떤 역할을 하는가?

주요 결과

• 도구상자는 선형 프로그래밍을 사용하여 정보 측정치의 선형 조합에 대한 경계를 성공적으로 계산한다.
• 이 도구는 두 개의 정보 측정치 사이의 폴리토프 트레이드오프 외부 경계를 효율적으로 생성한다.
• 시스템은 알려진 정보 부등식의 가중합으로서 경계의 형식적 증명을 생성한다.
• Gurobi 또는 CPLEX의 통합은 복잡한 정보 이론적 최적화 문제를 고성능으로 해결할 수 있도록 한다.
• 기반 경계의 검증 가능하고 기계로 검사 가능한 증명을 제공함으로써 복제 가능한 연구를 지원한다.
• 도구상자의 오픈소스 성격 덕분에 정보 이론적 결과의 커뮤니티 기반 확장과 검증이 가능해진다.