[논문 리뷰] Decision Problems in Information Theory

Mahmoud Abo Khamis, Phokion G. Kolaitis외 2명|arXiv (Cornell University)|2020. 01. 01.

Computability, Logic, AI Algorithms참고 문헌 42인용 수 12

한 줄 요약

이 논문은 정보이론에서 의사결정 문제의 알고리즘 복잡도를 조사하며, 특히 엔트로피에 대한 제약 조건의 타당성에 초점을 맞춘다. 다양한 정보부등식의 클래스—예를 들어 부울 조합, 여유가 있는 조건부 부등식, 최대부등식—을 산술계층에 포함시키며, 타당성 검증이 엄밀한 조건부 부등식의 경우 Π₀³에 속하고, 최대부등식의 경우 표준 부등식과 튜링 동치임을 규명한다.

ABSTRACT

Constraints on entropies are considered to be the laws of information theory. Even though the pursuit of their discovery has been a central theme of research in information theory, the algorithmic aspects of constraints on entropies remain largely unexplored. Here, we initiate an investigation of decision problems about constraints on entropies by placing several different such problems into levels of the arithmetical hierarchy. We establish the following results on checking the validity over all almost-entropic functions: first, validity of a Boolean information constraint arising from a monotone Boolean formula is co-recursively enumerable; second, validity of "tight" conditional information constraints is in $Π^0_3$. Furthermore, under some restrictions, validity of conditional information constraints "with slack" is in $Σ^0_2$, and validity of information inequality constraints involving max is Turing equivalent to validity of information inequality constraints (with no max involved). We also prove that the classical implication problem for conditional independence statements is co-recursively enumerable.

연구 동기 및 목표

• . 이 논문은 엔트로피에 대한 제약 조건의 알고리즘적 측면을 체계적으로 연구하기 시작하고자 한다. 이러한 제약 조건들은 정보이론의 '법칙'으로 간주된다.
• . 이 논문은 조건부, 최대기반, 부울 조합 등 다양한 유형의 정보부등식에 대한 타당성 검증의 결정 가능성과 복잡도를 조사한다.
• . 선형 정보부등식의 결정 가능성 문제가 여전히 열려 있기 때문에, 정보법칙의 알고리즘 복잡도에 대한 이해의 격차를 메우는 데 초점을 맞춘다.
• . 특히 조건부 독립성 함의 관계의 맥락에서, 엔트로피 벡터(Γ*ₙ)와 그 위상적 폐쇄(Γ̄*ₙ) 사이의 차이를 다룬다.
• . 의사결정 문제를 산술계층에 포함시켜 그 논리적이고 계산적 구조를 더 잘 이해하고자 한다.

제안 방법

• . 저자들은 부울 정보 제약 조건의 일반화된 프레임워크를 도입하며, 이는 선형 정보부등식의 부울 조합으로 정의된다.
• . 문제를 산술계층의 수준에 포함시켜 타당성 검증의 논리적 복잡도를 분석하며, 복잡도를 특징짓기 위해 양자어울림을 사용한다.
• . 조건부 부등식의 경우, '엄밀한' 및 '여유가 있는' 변형을 정의하며, 엄밀한 부등식은 조건부 독립성 진술과 대응된다.
• . 유리수 확률을 갖는 표현 가능한 확률 공간을 사용하여 엔트로피를 유리수의 로그 표현식으로 모델링함으로써 엔트로피 벡터의 형식적 다루기가 가능해진다.
• . 어떤 최대부등식도 단일 선형 부등식으로 환원될 수 있음을 보여, 최대부등식과 표준 부등식 사이의 튜링 동치성을 증명한다.
• . 조건부 독립성 진술의 함의 문제는 코-재귀적으로 가역적(co-recursively enumerable, Π₀¹)임을 보이며, 이는 그 복잡도에 대한 첫 번째 알려진 상한을 제공한다.

실험 결과

연구 질문

• RQ1 . 최대부등식을 포함한 단조 부울 공식에서 유도된 부울 정보 제약 조건의 타당성 검증 알고리즘 복잡도는 무엇인가?
• RQ2 . '엄밀한' 전제를 갖는 조건부 정보부등식의 타당성은 결정 가능한가? 만약 그렇다면, 어떤 복잡도 클래스에 속하는가?
• RQ3 . 전제에 '여유'가 존재할 경우, 조건부 정보부등식 타당성의 복잡도는 어떻게 영향을 받는가?
• RQ4 . 최대부등식은 결정 가능성과 복잡도 측면에서 표준 선형 정보부등식과 계산적으로 동치인가?
• RQ5 . 이산 확률변수 간의 조건부 독립성 진술의 함의 문제의 복잡도는 무엇인가?

주요 결과

• . 단조 부울 공식에서 유도된 부울 정보 제약 조건(최대부등식 포함)의 타당성은 Π₀¹에 속하며, 이는 코-재귀적으로 가역적임을 의미한다.
• . 조건부 독립성을 표현하는 '엄밀한' 조건부 정보부등식의 타당성은 Π₀³에 속하며, 이는 높은 논리적 복잡도를 나타낸다.
• . '여유'와 그룹 균형 전제를 갖는 조건부 부등식은 Σ₀²에 속하며, 엄밀한 경우보다 낮은 복잡도를 보인다.
• . 최대부등식은 표준 정보부등식과 튜링 동치이며, 이는 계산적 난이도를 증가시키지 않는다는 것을 의미한다.
• . 조건부 독립성 진술의 함의 문제는 Π₀¹에 속하며, 이는 그 복잡도에 대한 첫 번째 알려진 상한을 제공한다.
• . 엔트로피 벡터 식별 문제(주어진 벡터가 엔트로피인지 여부)는 Σ₀¹에 속하며, 거의 엔트로피 식별 문제(Almost-entropic recognizability problem)는 Π₀²에 속한다.