[논문 리뷰] Optimal quantizer structure for binary discrete input continuous output channels under an arbitrary quantized-output constraint

Thuan Nguyen, Thinh Nguyen|arXiv (Cornell University)|2020. 01. 08.

Error Correcting Code Techniques참고 문헌 17인용 수 5

한 줄 요약

이 논문은 이산 출력 확률 제약 조건이 있는 이진 입력 연속 출력 채널에 대해 상호정보량을 최대화하는 전역 최적의 양자화기 설계를 제안한다. 이를 위해 후행 확률 공간 $ r_y $ 내에서의 볼록 셀 구조가 최적의 양자화기 구조임을 증명하고, 동적 계획법을 활용하여 다항 시간 복잡도를 달성한다. 또한 단일 임계값 양자화기가 최적임을 보장하는 충분조건을 도출하여, 이전의 상호정보량 최대화 연구를 확장한다.

ABSTRACT

Given a channel having binary input X = (x_1, x_2) having the probability distribution p_X = (p_{x_1}, p_{x_2}) that is corrupted by a continuous noise to produce a continuous output y \in Y = R. For a given conditional distribution p(y|x_1) = ϕ_1(y) and p(y|x_2) = ϕ_2(y), one wants to quantize the continuous output y back to the final discrete output Z = (z_1, z_2, ..., z_N) with N \leq 2 such that the mutual information between input and quantized-output I(X; Z) is maximized while the probability of the quantized-output p_Z = (p_{z_1}, p_{z_2}, ..., p_{z_N}) has to satisfy a certain constraint. Consider a new variable r_y=p_{x_1}ϕ_1(y)/ (p_{x_1}ϕ_1(y)+p_{x_2}ϕ_2(y)), we show that the optimal quantizer has a structure of convex cells in the new variable r_y. Based on the convex cells property of the optimal quantizers, a fast algorithm is proposed to find the global optimal quantizer in a polynomial time complexity.

연구 동기 및 목표

• 이산 출력 확률 제약 조건이 있는 이진 입력 연속 출력 채널에 대해 전역 최적의 양자화기 설계가 부족한 문제를 해결한다.
• 최적의 양자화기 구조가 후행 확률 공간 $ r_y $ 내에서 볼록 셀임을 증명하여 효율적인 탐색을 가능하게 한다.
• 일반적인 출력 제약 조건 하에서 전역 최적의 양자화기를 찾는 다항 시간 알고리즘을 개발한다.
• 원래 $ y $-공간에서 단일 임계값 양자화기가 최적임을 보장하는 충분조건을 규명한다.

제안 방법

• 양자화기 설계의 핵심 전환 공간으로 후행 확률 비율 $ r_y = \frac{p_{x_1}\phi_1(y)}{p_{x_1}\phi_1(y) + p_{x_2}\phi_2(y)} $ 를 도입한다.
• 모든 양자화기가 후행 확률 공간 $ r_y $ 내에서 동일한 출력 확률 분포 $ p_Z $ 를 유지하면서 상호정보량 손실 없이 볼록 셀 양자화기로 대체 가능함을 증명한다.
• 출력 제약 조건이 덧셈 구조일 경우, $ r_y $-공간에서 동적 계획법을 적용하여 전역 최적의 양자화기를 다항 시간 복잡도로 탐색한다.
• 함수 $ \frac{\phi_2(y)}{\phi_1(y)} $ 의 단조성에 기반한 충분조건을 유도하여, $ y $-공간에서의 단일 임계값 양자화기가 최적임을 보장한다.
• 귀납법과 구조적 분해를 활용하여 출력 수준 수가 증가함에 따라 볼록 셀 성질을 재귀적으로 증명한다.
• 최적의 임계값 $ a^* \in (0,1) $ 에 대해 $ r_y = a^* $ 를 풀어 최종 양자화기 임계값을 구성한다.

실험 결과

연구 질문

• RQ1 출력 분포 $ p_Z $ 에 대한 임의의 제약 조건 하에서 상호정보량 $ I(X;Z) $ 를 최대화하는 최적의 양자화기 형태는 무엇인가?
• RQ2 이러한 제약 조건 하에서 전역 최적의 양자화기를 다항 시간 내에 찾을 수 있는가?
• RQ3 원래 $ y $-공간에서 단일 임계값 양자화기가 최적임이 보장되는 조건은 무엇인가?
• RQ4 후행 확률 공간 $ r_y $ 는 최적화를 단순화하는 볼록 셀 구조를 갖는가?
• RQ5 제약 조건이 출력 확률에 대해 덧셈 구조일 경우, 동적 계획법을 통해 최적의 양자화기를 구성할 수 있는가?

주요 결과

• 임의의 출력 제약 조건 하에 이진 입력 연속 출력 채널의 최적의 양자화기는 후행 확률 공간 $ r_y $ 내에서 볼록 셀 구조를 가진다.
• 출력 확률에 대해 덧셈 구조일 경우, 동적 계획법을 활용하여 다항 시간 복잡도로 전역 최적의 양자화기를 찾을 수 있다. 예를 들어 엔트로피나 전력 제약 조건에 해당한다.
• 이진 양자화 출력($ N=2 $)의 경우, $ \frac{\phi_2(y)}{\phi_1(y)} $ 가 엄격히 단조 증가 또는 감소하면 단일 임계값 양자화기가 최적이다.
• 모든 양자화기가 동일한 출력 분포 $ p_Z $ 를 가지는 볼록 셀 양자화기로 대체될 경우, 상호정보량 $ I(X;Z) $ 는 감소하지 않는다.
• 기존 연구들이 국소 최적 또는 근사 전역 최적 해를 찾는 데 그친 것과 달리, 제안된 알고리즘은 전역 최적성을 달성한다.
• 알고리즘의 시간 복잡도는 양자화 수준 수에 대해 다항식이므로 실용적 응용에 대해 확장 가능하다.