[논문 리뷰] Dynamic Programming for Sequential Deterministic Quantization of Discrete Memoryless Channels

Xuan He, Kui Cai외 2명|arXiv (Cornell University)|2019. 01. 07.

Error Correcting Code Techniques참고 문헌 26인용 수 4

한 줄 요약

이 논문은 일반적인 비용 함수 C 하에서 q-진 입력 이산 기억성 채널(DMCs)에서 최적의 순차적 결정적 양자화기(SDQs)를 설계하기 위한 동적 프로그래밍(DP) 프레임워크를 제안한다. SMAWK 알고리즘과 더 단순한 기법을 통해 복잡도를 감소시키며, α-상호정보량 최대화 및 실용적인 PAM 시스템에의 적용 가능성을 확보한다.

ABSTRACT

In this paper, under a general cost function $C$, we present a dynamic programming (DP) method to obtain an optimal sequential deterministic quantizer (SDQ) for $q$-ary input discrete memoryless channel (DMC). The DP method has complexity $O(q (N-M)^2 M)$, where $N$ and $M$ are the alphabet sizes of the DMC output and quantizer output, respectively. Then, starting from the quadrangle inequality, two techniques are applied to reduce the DP method's complexity. One technique makes use of the Shor-Moran-Aggarwal-Wilber-Klawe (SMAWK) algorithm and achieves complexity $O(q (N-M) M)$. The other technique is much easier to be implemented and achieves complexity $O(q (N^2 - M^2))$. We further derive a sufficient condition under which the optimal SDQ is optimal among all quantizers and the two techniques are applicable. This generalizes the results in the literature for binary-input DMC. Next, we show that the cost function of $α$-mutual information ($α$-MI)-maximizing quantizer belongs to the category of $C$. We further prove that under a weaker condition than the sufficient condition we derived, the aforementioned two techniques are applicable to the design of $α$-MI-maximizing quantizer. Finally, we illustrate the particular application of our design method to practical pulse-amplitude modulation systems.

연구 동기 및 목표

• q-진 입력 이산 기억성 채널(DMCs)에서 최적의 순차적 결정적 양자화(이하 SDQ)를 위한 효율적인 동적 프로그래밍 방법을 개발한다.
• 사각형 부등식과 두 가지 최적화 기법인 SMAWK 알고리즘과 더 단순한 히우리스틱을 사용하여 DP 기반 SDQ 설계의 계산 복잡도를 감소시킨다.
• 모든 양자화기 중에서 최적의 SDQ가 전역적으로 최적이 되는 충분조건을 도출하며, 이는 이전의 이진 입력 결과를 일반화한다.
• α-상호정보량(α-MI) 최대화가 비용 함수 클래스 C에 속함을 보여주며, 제안된 방법의 적용 가능성을 보장한다.
• 특히 AWGN 및 NVM 채널에서의 펄스 진폭 변조(PAM) 시스템에 대한 실용적 적용 가능성을 보여준다.

제안 방법

• 양자화기의 임계값 λ₀=0 < λ₁ < ... < λₘ=N로 매개변수화하여 최적의 SDQ를 계산하는 동적 프로그래밍 설정을 제안한다.
• 상호정보량 및 기타 발산 측정치를 일반화한 비용 함수 C(Q)를 사용하여 광범위한 적용 가능성을 확보한다.
• 비용 함수에 사각형 부등식(QI)을 적용하여 SMAWK 알고리즘을 통해 복잡도 감소를 가능하게 한다.
• 두 가지 복잡도 감소 기법을 도입한다: 하나는 SMAWK 알고리즘을 사용해 O(q(N−M)M)의 복잡도를 달성하고, 다른 하나는 더 단순한 방법으로 O(q(N²−M²))의 복잡도를 확보한다.
• 비용 함수의 구조와 하위모듈라리티 성질을 분석하여 최적의 SDQ가 모든 양자화기 중에서 전역적으로 최적이 되는 충분조건을 유도한다.
• α-상호정보량(α-MI) 최대화가 복잡도 감소 기법 적용을 위한 조건을 충족함을 증명하며, 이는 전역 최적성의 충분조건보다 더 약한 조건에서도 성립함을 보여준다.

실험 결과

연구 질문

• RQ1 일반적인 비용 함수 하에서 q-진 입력 DMCs에 대해 최적의 순차적 결정적 양자화기(SDQ)를 효율적으로 계산할 수 있는가?
• RQ2 SMAWK 알고리즘을 사용하여 DP 기반 SDQ 설계의 계산 복잡도를 감소시킬 수 있는 조건는 무엇인가?
• RQ3 α-상호정보량(α-MI) 최대화를 위한 양자화기 설계는 제안된 DP 및 복잡도 감소 프레임워크와 호환되는가?
• RQ4 최적의 SDQ가 모든 가능한 양자화기 중에서 전역적으로 최적이 되는 데 필요한 충분조건는 무엇인가?
• RQ5 제안된 방법은 AWGN 및 비휘발성 메모리(NVM) 채널에서의 PAM 기반 변조와 같은 실용적 통신 시스템에 어떻게 적용될 수 있는가?

주요 결과

• 제안된 DP 방법은 q-진 입력 DMCs에서 최적의 SDQ 설계를 O(q(N−M)²M)의 계산 복잡도로 달성한다.
• SMAWK 알고리즘을 적용하여 복잡도를 O(q(N−M)M)로 감소시켜, 큰 N과 M에 대해 효율성이 크게 향상된다.
• 더 단순한 복잡도 감소 기법은 O(q(N²−M²))의 복잡도를 확보하며, 성능와 구현 용이성 사이의 실용적 트레이드오프를 제공한다.
• 최적의 SDQ가 모든 양자화기 중에서 전역적으로 최적이 되는 데 필요한 충분조건를 도출하였으며, 이는 이전의 이진 입력 결과를 일반화한다.
• α-상호정보량(α-MI) 비용 함수가 프레임워크와 호환됨을 입증하였고, 복잡도 감소 기법이 충분조건보다 더 약한 조건에서도 적용 가능함을 보였다.
• 이 방법이 AWGN 및 비휘발성 메모리(NVM) 채널에서의 PAM 기반 변조와 같은 실용적 시스템에 적용 가능함을 입증하여 실제 응용 가능성과 관련성을 입증하였다.