[논문 리뷰] Non-existence of certain kind of finite-letter mutual information characterization for a class of time-invariant Markoff channels

Mukul Agarwal|arXiv (Cornell University)|2018. 04. 16.

DNA and Biological Computing참고 문헌 4인용 수 5

한 줄 요약

이 논문은 유한 문자(characterization) 표현(FLC)이 시간 불변 마르코프 채널의 일정한 클래스—구체적으로 유한 상태 기계 채널(FSMC)의 일족인 $\mathscr{S}_{\lambda}$—의 용량 영역을 기술할 수 없다는 것을 입증한다. 이전 연구에서 얻은 결정 불가능성 결과를 활용하고, 만약 적합한 FLC가 존재한다면 용량을 가감 상수 내로 근사하는 것이 계산 가능하다는 것을 증명함으로써, $\mathscr{S}_{\lambda}$의 용량을 기술할 수 있는 이러한 FLC는 존재하지 않으며, 이는 다항식 제약 조건을 갖는 유한 최적화 문제로 용량을 표현하는 데 있어 근본적인 제약이 있음을 시사한다.

ABSTRACT

We provide a rigorous definition of a certain kind of characterization for capacity regions of a family of Markoff networks which is based on optimization problems resulting out of calculating conditional mutual information from a finite number of random variables and by constraining these random variables in a certain way. This definition is partly motivated by the definition of single-letter characterizations in information theory. For a point-to-point Markoff channel, we prove that approximating the solution to these characterizations within an additive constant is a computable problem. Based on previous undecidability results concerning capacities of certain class of finite state machine channels (FSMCs), it will follow that there exists an example of family of FSMCs for which given such a characterization, this characterization cannot represent the capacity of this family of FSMCs.

연구 동기 및 목표

• 조건부 상호정보량과 다항식 제약 조건을 바탕으로 마르코프 네트워크의 용량 영역에 대한 유한 문자 표현(FLC)의 엄밀한 정의를 내리는 것.
• 적합한 FLC가 존재할 경우 용량을 가감 상수 내로 근사하는 것이 계산 가능하다는 것을 입증하는 것.
• 특정 FSMC 일족($\mathscr{S}_{\lambda}$)에 대해, 용량 결정의 본질적 결정 불가능성으로 인해 적합한 FLC가 존재할 수 없다는 것을 보여주는 것.
• 기억 없는 또는 분해 불가능한 마르코프 채널에서 FLC 존재 가능성에 대한 보다 광범위한 함의를 탐색하는 것.

제안 방법

• FLC를 유한 랜덤 변수에 대한 상호정보량 표현(표현)과 확률 분포에 대한 다항부등식 제약 조건(제약 조건)의 쌍으로 정의한다.
• 모든 채널이 클래스 $\mathbb{D}$에 속할 때, 채널 파라미터를 대입하면 탇도 영역의 폐포가 용량 영역과 일치하는 최적화 문제를 유도하는 적합한 FLC로 정의한다.
• 실계수 폐쇄의 일阶논리 이론의 결정 가능성을 이용하여, FLC와 관련된 타당성 및 최적화 문제의 계산 가능성을 증명한다.
• 이전의 결정 불가능성 결과(Elkouss 등, 2018)를 활용하여, $\mathscr{S}_{\lambda}$에서 용량이 $\leq \lambda/2$인지 $\geq \lambda$인지를 결정하는 것은 결정 불가능하다는 것을 증명한다.
• 모순을 이끌어내기: 만약 적합한 FLC가 존재한다면 용량 근사화는 계산 가능할 것이지만, 결정 불가능성은 그 반대를 의미하므로, 이러한 FLC의 존재하지 않음을 증명한다.
• 부분 상태 정보 환경에서 용량 근사화의 비계산 가능성에 대한 잠재적 증명을 개략적으로 기술하며, 확률적 유한 오토마타에서의 결정 불가능성에 기반한다.

실험 결과

연구 질문

• RQ1 용량 결정이 임계값 내에서 결정 불가능한 $\mathscr{S}_{\lambda}$의 유한 상태 기계 채널 일족에 대해, 유한 문자 표현(FLC)이 존재할 수 있는가?
• RQ2 채널 클래스에 대해 적합한 FLC가 존재할 경우, 마르코프 채널의 용량을 가감 상수 내로 근사하는 문제의 계산 가능성은 어떻게 되는가?
• RQ3 $\mathscr{S}_{\lambda}$에서 용량 결정의 결정 불가능성이 이 클래스에 대해 어떤 적합한 FLC의 존재하지 않음을 의미하는가?
• RQ4 FLC 기반 용량 근사화의 계산 가능성은 특정 채널 일족에 대해 FLC의 존재를 배제하는 기준으로 사용될 수 있는가?
• RQ5 기억 없는 또는 분해 불가능한 마르코프 채널 등의 더 넓은 클래스에서는 적합한 FLC가 존재할 수 있는가, 아니면 그 존재하지 않음이 여전히 암시되는가?

주요 결과

• 특정 마르코프 채널 클래스에 대해 적합한 유한 문자 표현(FLC)이 존재하면, 용량을 임의의 가감 상수 $\epsilon > 0$ 내로 근사하는 문제 역시 계산 가능한 문제임을 의미한다.
• $\mathscr{S}_{\lambda}$의 유한 상태 기계 채널 일족에 대해, 용량이 $\lambda/2$와 $\lambda$ 사이에서 결정 불가능하므로, 어떤 알고리즘도 어느 경우에 속하는지 결정할 수 없다.
• 용량 근사화가 $\epsilon$ 내로 계산 가능하다면 적합한 FLC가 존재할 수 있지만, $\mathscr{S}_{\lambda}$에서는 이것이 결정 불가능하므로, 이 일족에 대해 적합한 FLC는 존재할 수 없다.
• 이 증명은 실계수 폐쇄의 일阶논리 이론의 결정 가능성을 바탕으로 하여, FLC 기반 최적화 문제의 계산 가능성을 확립한다.
• $\mathscr{S}_{\lambda}$에 대한 FLC의 존재하지 않음은 다항식 제약 조건을 갖는 유한 랜덤 변수에 대한 유한 최적화 문제로 용량을 표현하는 데 있어 근본적인 제약이 있음을 시사한다.
• 논문은 분해 불가능하거나 기억이 없는 마르코프 채널에 대해서도 적합한 FLC가 일반적으로 존재하지 않을 수 있음을 추측하지만, 이는 아직 증명되지 않은 상태이다.