[논문 리뷰] Non-Asymptotic and Asymptotic Analyses of Information Processing on Markov Chains

Masahito Hayashi, Shun Watanabe|arXiv (Cornell University)|2013. 09. 29.

DNA and Biological Computing인용 수 5

한 줄 요약

이 논문은 차단 길이에 영향을 받지 않는 복잡도를 갖는 마르코프 체인에서의 소스 부호화, 난수 생성, 채널 부호화에 대해 효율적으로 계산 가능한 비점근적 경계를 제시한다. 이 경계들은 큰 편차 및 중간 편차 영역에서 점근적으로 날카로운 경계를 확립하며, 소스 부호화, 난수 생성, 채널 부호화의 두 번째 순서 분산 분산에 대해 단일 문자 표현식을 도출한다.

ABSTRACT

In this paper, we derive non-asymptotic achievability and converse bounds on the source coding with/without side-information, the random number generation with/without side-information, and the channel coding for the regular channel. Our bounds are efficiently computable in the sense that the computational complexity does not depend on the block length. We also characterize the asymptotic behaviors of the large deviation regime and the moderate deviation regime by using our bounds, which implies that our bounds are asymptotically tight in those regimes. We also show the second order rates of those problems, and derive single letter forms of the variances characterizing the second order rates.

연구 동기 및 목표

• 마르코프 체인에서의 정보 처리 작업에 대해 비점근적 실현 가능성 및 상한 경계를 개발하기 위해.
• 차단 길이에 독립적인 경계를 통해 계산 효율성을 확보하기 위해.
• 큰 편차 및 중간 편차 영역에서의 점근적 행동을 특성화하기 위해.
• 소스 부호화, 난수 생성, 채널 부호화에 대해 단일 문자 표현식을 갖는 두 번째 순서 속도를 도출하기 위해.

제안 방법

• 마르코프 체인 모델에 특화된 정보이론적 기법을 사용하여 비점근적 경계를 유도한다.
• 차단 길이에 영향을 받지 않는 계산 복잡도를 보장하기 위해 새로운 분석 프레임워크를 적용한다.
• 경계를 사용하여 큰 편차 및 중간 편차 영역을 분석한다.
• 엄밀한 극한 분석을 통해 이러한 영역에서 경계의 점근적 날카로움을 확립한다.
• 두 번째 순서 속도를 특성화하는 단일 문자 형태의 분산을 유도한다.
• 이 프레임워크를 측정 정보 유무에 관계없이 소스 부호화, 난수 생성, 일반 채널 부호화에 적용한다.

실험 결과

연구 질문

• RQ1 마르코프 체인에서의 정보 처리에 대한 비점근적 경계는 차단 길이에 관계없이 어떻게 효율적으로 계산 가능하게 만들 수 있는가?
• RQ2 유도된 경계는 어떤 방식으로 큰 편차 및 중간 편차 영역에서 점근적으로 날카로운가?
• RQ3 마르코프 체인에서의 소스 부호화, 난수 생성, 채널 부호화에 대한 두 번째 순서 속도는 무엇인가?
• RQ4 이러한 문제들에서 두 번째 순서 속도를 결정하는 분산은 단일 문자 형태로 표현될 수 있는가?
• RQ5 측정 정보 조건은 경계의 구조와 날카로움에 어떤 영향을 미치는가?

주요 결과

• 제안된 경계는 차단 길이에 영향을 받지 않는 복잡도를 갖는 효율적인 계산이 가능하다.
• 이 경계들은 큰 편차 및 중간 편차 영역 모두에서 점근적으로 날카로운 경계이다.
• 소스 부호화, 난수 생성, 채널 부호화의 두 번째 순서 속도는 단일 문자 분산 표현식을 통해 특성화된다.
• 두 번째 순서 점근적 분석에서의 분산 항들은 단일 문자 형태로 유도되어 계산 가능성을 보장한다.
• 이 프레임워크는 측정 정보 유무에 관계없이 동일하게 적용된다.
• 결과적으로 이는 마르코프 정보 처리에서 비점근적 및 점근적 분석을 위한 통합된 분석 기초를 확립한다.