[논문 리뷰] Finite-Length Analyses for Source and Channel Coding on Markov Chains

Masahito Hayashi, Shun Watanabe|arXiv (Cornell University)|2013. 09. 29.

Wireless Communication Security Techniques참고 문헌 56인용 수 11

한 줄 요약

이 논문은 레니 지수 분산과 조건부 레니 지수 엔트로피를 기반으로 한 통합 프레임워크를 사용하여 마르코프 체인을 통한 소스 부호화 및 채널 부호화에 대한 유한 길이 경계를 개발한다. 이는 대수적 최적화, 중간 확률, 제2차 영역에서 점점 더 최적화되는 계산 효율적인 경계를 제공하며, 기억이 있는 시스템에서 실용적인 블록 길이에 대해 날카운 성능 한계를 제공한다.

ABSTRACT

We study finite-length bounds for source coding with side information for Markov sources and channel coding for channels with conditional Markovian additive noise. For this purpose, we propose two criteria for finite-length bounds. One is the asymptotic optimality and the other is the efficient computability of the bound. Then, we derive finite-length upper and lower bounds for coding length in both settings so that their computational complexity is efficient. To discuss the first criterion, we derive the large deviation bounds, the moderate deviation bounds, and second order bounds for these two topics, and show that these finite-length bounds achieves the asymptotic optimality in these senses. For this discussion, we introduce several kinds of information measure for transition matrices.

연구 동기 및 목표

• 마르코프 체인을 통한 부호화에 대해 계산 효율적이고 점점 더 최적화되는 유한 길이 경계의 부족을 보완한다.
• 공통된 정보 이론적 프레임워크를 사용하여 측정값이 있는 소스 부호화와 마르코프 노이즈가 있는 채널 부호화의 유한 길이 분석을 통합한다.
• 대수적 최적화가 보장되고 계산이 효율적인 경계를 개발하여 대수적 확률, 중간 확률, 제2차 영역에서 모두 성능을 확보한다.
• 기억이 있는 설정에서 날카운 유한 길이 경계를 가능하게 하는 전이 행렬에 대한 새로운 정보 측정값을 도입한다.

제안 방법

• 레니 지수 분산과 조건부 레니 지수 엔트로피를 기반으로 한 지수형 경계를 사용하여 유한 길이 성취 경계를 수립한다.
• 대칭 조건 하에서 계산 가능성을 보장하기 위해 오차 확률 평가를 위해 선형 프로그래밍 기반의 가설 검증 경계 프레임워크를 적용한다.
• 레니 지수 분산의 매개변수에 대한 변분 최적화를 통해 경계를 유도하며, $\tilde{\rho}$와 $\sigma$를 사용한 매개변수화를 통해 오차와 비트 전송률 사이의 트레이드오프를 최적화한다.
• 레니 지수 분산 분석을 위해 원래 채널과 기울인 분포를 연결하기 위해 조건부 덧셈 채널 모델 $P_{B^n|A^n,\rho}$를 도입한다.
• 레니 지수 분산의 단조성질을 사용하여 기울인 분포와 원래 분포 간의 분산에 따라 오차 확률을 둘러싸는 부등식을 유도한다.
• 수렴이 보장되는 제약 조건 하에 $\tilde{\rho}$와 $\sigma$에 대해 최적화함으로써 날카운 경계를 확립한다.

실험 결과

연구 질문

• RQ1 마르코프 소스 및 채널 부호화에 대한 유한 길이 경계는 계산 효율적일 뿐만 아니라 점점 더 최적화될 수 있는가?
• RQ2 레니 지수 분산과 조건부 레니 지수 엔트로피는 소스 및 채널 부호화에서 마르코프 의존성을 다룰 수 있도록 어떻게 확장될 수 있는가?
• RQ3 기억이 있는 시스템에서 날카운 유한 길이 경계를 가능하게 하는 전이 행렬에 대한 정보 측정값은 무엇인가?
• RQ4 제안된 경계는 대수적 확률, 중간 확률, 제2차 영역에서 점점 더 최적화되는가?
• RQ5 측정값이 있는 소스 부호화와 마르코프 노이즈가 있는 채널 부호화 간의 프레임워크를 통합할 수 있는가?

주요 결과

• 제안된 경계는 대수적 확률, 중간 확률, 제2차 영역에서 점점 더 최적화되며, 기존 알려진 기본 한계와 일치한다.
• 대칭 조건이 존재할 경우 선형 프로그래밍을 통해 효율적으로 계산 가능하여, 다른 방법에서 흔히 발생하는 변수의 지수 증가를 피한다.
• 조건부 레니 지수 엔트로피와 기울인 분포의 사용은 블록 길이에 따라 잘 스케일링되는 날카운 유한 길이 경계를 가능하게 한다.
• 이 프레임워크는 측정값이 있는 소스 부호화와 마르코프 추가 노이즈가 있는 채널 부호화의 유한 길이 분석을 성공적으로 통합한다.
• 레니 지수 분산 최적화를 통해 유도된 경계는 모든 점점 더 최적화된 영역에서 RCU 경계의 성능을 따라잡으며, 계산 효율성이 향상된다.
• 새로운 매개변수화 방식인 $\tilde{\rho}$와 $\sigma$를 도입함으로써 날카운 최적화와 알려진 점점 더 최적화된 극한에의 수렴이 가능해진다.