[논문 리뷰] On the Capacity of Constrained Systems

Georg Böcherer, Valdemar C. da Rocha외 1명|ArXiv.org|2009. 11. 05.

Computability, Logic, AI Algorithms참고 문헌 6인용 수 3

한 줄 요약

이 논문은 생성 함수를 사용하여 정규 언어를 초월해 제약 시스템의 용량을 일반화하며, 조합적 용량을 수렴의 횡좌표로 정의함으로써, 어떤 입력 과정의 최대 엔트로피 비율이 이 값에 의해 상한선으로 제한됨을 증명한다. 이 프레임워크는 최대 엔트로피 비율과 조합적 용량 간의 등가성을 입증하기 위한 새로운 방법을 제공하며, (j,k) 런레ング스 제약에 대해 닫힌 형태의 용량 공식을 제시한다.

ABSTRACT

In the first chapter of Shannon's "A Mathematical Theory of Communication," it is shown that the maximum entropy rate of an input process of a constrained system is limited by the combinatorial capacity of the system. Shannon considers systems where the constraints define regular languages and uses results from matrix theory in his derivations. In this work, the regularity constraint is dropped. Using generating functions, it is shown that the maximum entropy rate of an input process is upper-bounded by the combinatorial capacity in general. The presented results also allow for a new approach to systems with regular constraints. As an example, the results are applied to binary sequences that fulfill the (j,k) run-length constraint and by using the proposed framework, a simple formula for the combinatorial capacity is given and a maxentropic input process is defined.

연구 동기 및 목표

• 정규 언어나 '너무 농도가 높지 않음'의 가중치 가정을 초월해 제약 시스템 용량 이론을 확장하기 위해.
• 이전의 가정 하에서 고전적 정의로 수렴하는 생성 함수를 사용해 일반화된 조합적 용량을 정의하기 위해.
• 최대 엔트로피 비율과 조합적 용량 간의 등가성을 입증하기 위한 새로운 방법을 제안하기 위해, 최대 엔트로피 입력 과정을 구성함으로써.
• 특히 (j,k) 런레ング스 제약에 대해 조합적 용량의 간단하고 닫힌 형태의 표현식을 제공하기 위해.

제안 방법

• 기호 가중치를 실수 양수로 두고, 매개변수 s를 가진 지수 생성 함수를 사용해 제약 시스템을 표현함.
• 생성 함수의 수렴의 횡좌표로 조합적 용량을 정의함으로써 이전의 정의를 일반화함.
• 복소해석학의 알려진 결과를 적용하여, 수렴의 횡좌표가 제약 시퀀스의 성장률과 동일함을 보임.
• 유한한 가중 블록 집합 위에서 i.i.d. 기반 기호를 가지는 입력 과정을 구성함. 확률은 e^(-w(y)R) 비례하게 할당함. 여기서 R은 조합적 용량임.
• H(Y₁,…,Yₗ)/E[w(cat(Y₁,…,Yₗ))]의 limsup를 포함하는 엔트로피 비율 공식을 사용하여, 분포가 적절히 정규화된 경우 이 값이 R과 같음을 보임.
• 정리 2의 엔트로피 비율 상한선을 활용하여, 용량 R을 달성하는 과정이 최대 엔트로피임을 증명함.

실험 결과

연구 질문

• RQ1 정규성이나 '너무 농도가 높지 않음'의 가중치 집합을 가정하지 않고도 제약 시스템의 조합적 용량을 정의하고 계산할 수 있는가?
• RQ2 어떤 입력 과정의 최대 엔트로피 비율이 항상 시스템의 생성 함수의 수렴의 횡좌표에 의해 상한선으로 제한되는가?
• RQ3 엔트로피 비율이 조합적 용량과 동일한 시스템에서 최대 엔트로피 입력 과정을 명시적으로 구성할 수 있는가?
• RQ4 새로운 프레임워크는 특히 (j,k)와 같은 정규 제약에서 용량 유도와 입력 과정 설계를 더 단순하게 만들 수 있는가?
• RQ5 생성 함수 접근법이 용량 분석에서 행렬 이론적 방법을 대체할 수 있는가?

주요 결과

• 제약 시스템의 조합적 용량은 가중치 집합이 농도가 높거나 제약이 비정규일 경우에도 생성 함수의 수렴의 횡좌표와 동일하다.
• 어떤 입력 과정의 최대 엔트로피 비율은 생성 함수의 수렴의 횡좌표에 의해 항상 상한선으로 제한되며, 이는 일반화된 조합적 용량이다.
• (j,k) 런레ング스 제약에 대해, 새로운 프레임워크를 사용해 간단한 닫힌 형태의 조합적 용량 공식을 유도함.
• (j,k) 제약에 대해, R이 용량일 때 확률이 e^(-w(y)R)에 비례하도록 i.i.d. 기호를 할당함으로써 최대 엔트로피 입력 과정을 명시적으로 구성함.
• 이 구성된 과정의 엔트로피 비율은 조합적 용량과 동일하며, 이는 과정이 최대 엔트로피임을 증명함.
• 이 프레임워크는 복잡한 행렬 이론적 유도를 피하는 방식으로, 최대 엔트로피 비율과 조합적 용량 간의 등가성을 구성함으로써 새로운 일반적인 방법을 제공함.