[논문 리뷰] A Unified Approach to Non-Asymptotic and Asymptotic Analyses of Information Processing on Markov Chains

Masahito Hayashi, Shun Watanabe|arXiv (Cornell University)|2013. 09. 29.

Wireless Communication Security Techniques인용 수 2

한 줄 요약

이 논문은 마르코프 체인에서의 정보 처리에 대한 유한 길이 분석을 위한 통합 프레임워크를 제안하며, 측정 정보가 있는 소스 부호화 및 채널 부호화에 대해 계산적으로 효율적인 경계를 제안한다. 이는 전이 행렬에 특화된 새로운 정보 측정법을 사용하여 대칭적 최적성, 중간 정도의 편차, 그리고 두 번째 순서 경계를 통해 점근적 최적성을 달성한다.

ABSTRACT

We study finite-length bounds for source coding with side information for Markov sources and channel coding for channels with conditional Markovian additive noise. For this purpose, we propose two criteria for finite-length bounds. One is the asymptotic optimality and the other is the efficient computability of the bound. Then, we derive finite-length upper and lower bounds for coding length in both settings so that their computational complexity is efficient. To discuss the first criterion, we derive the large deviation bounds, the moderate deviation bounds, and second order bounds for these two topics, and show that these finite-length bounds achieves the asymptotic optimality in these senses. For this discussion, we introduce several kinds of information measure for transition matrices.

연구 동기 및 목표

• 마르코프 소스에서 측정 정보가 있는 소스 부호화에 대한 유한 길이 경계를 개발하기 위해.
• 조건부 마르코프 노이즈가 있는 채널 부호화에 대한 유한 길이 경계를 유도하기 위해.
• 경계가 점근적으로 최적이면서도 계산적으로 효율적이도록 보장하기 위해.
• 마르코프 시스템에 대해 비점근적 분석과 점근적 분석을 하나의 이론적 프레임워크 아래 통합하기 위해.

제안 방법

• 유한 길이 경계에 대한 점근적 최적성과 계산 효율성이라는 두 가지 기준을 제안한다.
• 마르코프 체인의 전이 행렬에 특화된 새로운 정보 측정법을 도입한다.
• 소스 부호화 및 채널 부호화 설정 모두에 대해 대칭적 편차, 중간 정도의 편차, 두 번째 순서 경계를 유도한다.
• 이 경계들을 조건부 마르코프 노이즈가 있는 마르코프 소스와 채널에 적용한다.
• 실제 구현을 위해 낮은 복잡도를 갖는 경계를 설계하여 계산 효율성을 확보한다.
• 제안된 측정법을 사용하여 유한 길이 성능과 점근적 한계 사이의 이론적 연관성을 수립한다.

실험 결과

연구 질문

• RQ1 마르코프 소스에서 측정 정보가 있는 소스 부호화에 대한 유한 길이 경계는 어떻게 하면 점근적으로 최적이면서도 계산적으로 효율적으로 만들 수 있는가?
• RQ2 마르코프 시스템에서 타당하고 계산 가능한 경계를 가능하게 하는 전이 행렬에 대한 정보 측정법은 무엇인가?
• RQ3 마르코프 체인의 맥락에서 대칭적 편차, 중간 정도의 편차, 두 번째 순서 경계는 어떻게 관련되어 있는가?
• RQ4 통합 프레임워크는 마르코프 불확실성 하에서 소스 부호화와 채널 부호화를 동시에 처리할 수 있는가?
• RQ5 마르코프 시스템에서의 유한 길이 경계의 계산 복잡도와 경계의 날카기 정도 사이의 상충 관계는 무엇인가?

주요 결과

• 제안된 유한 길이 경계는 대칭적 편차, 중간 정도의 편차, 두 번째 순서 영역에서 모두 점근적 최적성을 달성한다.
• 전이 행렬에 대한 새로운 정보 측정법은 기존 방법보다 더 날카운 경계와 더 높은 계산 효율성을 가능하게 한다.
• 이 경계들은 측정 정보가 있는 소스 부호화와 조건부 마르코프 노이즈가 있는 채널 부호화 양쪽에 모두 적용 가능하다.
• 이 프레임워크는 이론적 날카기 정도를 유지하면서도 낮은 계산 복잡도를 유지함으로써 경계의 효율성을 보장한다.
• 분석 결과, 제안된 경계가 세 가지 편차 영역 모두에서 점근적 한계로 수렴하는 것으로 나타났다.
• 통합적 접근은 마르코프 정보 처리 시스템에 대해 비점근적 분석과 점근적 분석을 성공적으로 융합한다.