[논문 리뷰] Dynamic Programming for Discrete Memoryless Channel Quantization.

Xuan He, Kui Cai외 2명|arXiv (Cornell University)|2019. 01. 07.

Error Correcting Code Techniques참고 문헌 23인용 수 13

한 줄 요약

이 논문은 복잡도를 줄이기 위해 SMAWK 알고리즘과 반복적 동적 프로그래밍(IDP)을 사용하는 이산 메모리리스 채널(DMC) 양자화를 위한 동적 프로그래밍(DP) 프레임워크를 제안한다. $\alpha$-상호정보량을 최대화하는 저복잡도 양자화기 설계를 가능하게 하는 채널 전이 확률에 대한 충분조건을 확립하여, 시뮬레이션에서 최신 기술보다 뛰어난 성능을 보인다.

ABSTRACT

In this paper, we present a general framework for applying dynamic programming (DP) to discrete memoryless channel (DMC) quantization. The DP has complexity $O(q (N-M)^2 M)$, where $q$, $N$, and $M$ are alphabet sizes of the DMC input, DMC output, and the quantizer output, respectively. Then, starting from the quadrangle inequality (QI), we apply two techniques to reduce the DP's complexity. One technique makes use of the SMAWK algorithm with complexity $O(q (N-M) M)$, while the other technique is much easier to be implemented and has complexity $O(q (N^2 - M^2))$. Next, we give a sufficient condition on the channel transition probability, under which the two low-complexity techniques can be applied for designing quantizers that maximize the $\alpha$-mutual information, which is a generalized objective function for channel quantization. This condition works for the general $q$-ary input case, including the previous work for $q = 2$ as a subcase. Moreover, we propose a new idea, called iterative DP (IDP). Theoretical analysis and simulation results demonstrate that IDP can improve the quantizer design over the state-of-the-art methods in the literature.

연구 동기 및 목표

• 계산 복잡도를 감소시킨 일반적인 동적 프로그래밍 접근법을 통해 이산 메모리리스 채널 양자화를 개발한다.
• SMAWK 알고리즘과 더 단순하고 구현 가능한 기법을 사용하여 DP 알고리즘의 복잡도를 감소시킨다.
• 저복잡도 기법을 적용할 수 있도록 $\alpha$-상호정보량 최대화를 위한 채널 전이 확률에 대한 충분조건을 규명한다.
• 기존 최신 기술을 초월하는 양자화기 설계 향상을 위한 새로운 방법으로 반복적 DP(IDP)를 제안한다.

제안 방법

• 논문은 입력, 출력 및 양자화기 알파벳 크기가 각각 $q$, $N$, $M$일 때 시간 복잡도 $O(q (N-M)^2 M)$를 가지는 동적 프로그래밍 문제로 DMC 양자화를 수식화한다.
• 비용 함수에서 사각부등식(QI)의 특성을 이용하여 SMAWK 알고리즘을 적용함으로써 복잡도를 $O(q (N-M) M)$로 감소시킨다.
• 두 번째로 더 단순한 기법은 복잡도를 $O(q (N^2 - M^2))$로 감소시키며, 구현이 더 쉬우나 SMAWK보다는 최적성은 떨어진다.
• 논문은 반복적 DP(IDP)를 도입하여 반복적 정밀화를 통해 양자화기 설계의 수렴성과 성능을 향상시키는 새로운 방법을 제시한다.
• 비용 함수의 QI 유효성을 보장하는 채널 전이 확률 행렬에 대한 충분조건을 유도한다.
• 이 프레임워크는 채널 양자화를 위한 일반화된 목표 함수인 $\alpha$-상호정보량 최대화를 위해 설계되었다.

실험 결과

연구 질문

• RQ1 낮은 복잡도로 DMC 양자화에 효과적으로 동적 프로그래밍을 적용할 수 있는가?
• RQ2 채널 전이 확률에 어떤 조건이 충족되어야 SMAWK를 통한 복잡도 감소가 보장되는가?
• RQ3 제안된 반복적 DP(IDP) 방법은 기존의 양자화기 설계 기법보다 어떻게 향상되는가?
• RQ4 저복잡도 DP 변종은 표준 DP 대비 이론적이고 실용적인 성능 향상이 얼마나 되는가?
• RQ5 제안된 프레임워크는 $q$-진 입력 채널, 특히 $q=2$인 이진 케이스를 포함한 일반적인 경우로 일반화될 수 있는가?

주요 결과

• 제안된 DP 프레임워크는 복잡도 $O(q (N-M)^2 M)$을 달성하여 DMC 양자화의 기준선을 제공한다.
• SMAWK 알고리즘을 적용함으로써 복잡도가 $O(q (N-M) M)$로 감소하여 효율성이 크게 향상된다.
• 더 단순한 기법은 복잡도를 $O(q (N^2 - M^2))$로 감소시켜 성능과 구현 용이성 사이의 실용적 트레이드오���을 제공한다.
• 채널 전이 확률에 대한 충분조건이 도출되어 QI 유효성이 보장되며, 이는 일반적인 $q$-진 입력에 대한 저복잡도 DP 기법의 적용을 가능하게 한다.
• 이론적 분석과 시뮬레이션을 통해 반복적 DP(IDP)가 $\alpha$-상호정보량 최대화 측면에서 기존 최신 기술보다 뛰어난 성능을 보임을 확인하였다.
• 이 프레임워크는 이전의 이진 입력($q=2$) 연구를 일반화하여 임의의 $q$-진 입력 채널으로 확장한다.