[논문 리뷰] Single-bit Quantization Capacity of Binary-input Continuous-output Channels

Thuan Nguyen, Thinh Nguyen|arXiv (Cornell University)|2020. 01. 07.

Error Correcting Code Techniques참고 문헌 20인용 수 4

한 줄 요약

이 논문은 이진 입력 연속 출력 채널에서 상호정보량 I(X;Z)를 최대화하기 위해 입력 분포와 1비트 양자화기 임계값을 동시에 최적화하기 위한 선형 시간 알고리즘을 제안한다. 최적의 양자화기 및 입력 분포의 분석적 성질을 활용하여 탐색 공간을 축소함으로써, 수렴성이 보장되고 전역 최적화가 가능한 효율적인 방법을 제공하며, 특정 가우시안 노이즈 조건 하에서 I(X;Z)* = 0.7249라는 핵심 결과를 도출한다.

ABSTRACT

We consider a channel with discrete binary input X that is corrupted by a given continuous noise to produce a continuous-valued output Y. A quantizer is then used to quantize the continuous-valued output Y to the final binary output Z. The goal is to design an optimal quantizer Q* and also find the optimal input distribution p*(X) that maximizes the mutual information I(X; Z) between the binary input and the binary quantized output. A linear time complexity searching procedure is proposed. Based on the properties of the optimal quantizer and the optimal input distribution, we reduced the searching range that results in a faster implementation algorithm. Both theoretical and numerical results are provided to illustrate our method.

연구 동기 및 목표

• 이진 입력 연속 출력 채널에서 상호정보량 I(X;Z)를 최대화하기 위해 입력 분포와 1비트 양자화기 임계값을 동시에 최적화하는 것.
• 양자화기 매개변수에 대한 상호정보량의 비볼록/비볼록성으로 인해 표준 볼록 최적화 기법을 적용할 수 없는 문제를 해결하는 것.
• 최적 해 공간에 대한 분석적 경계를 도출하여 전역 최적화의 계산 복잡도를 감소시키는 것.
• 실제 통신 시스템에 구현 가능한 수렴성이 보장되고 선형 시간 복잡도를 가지는 알고리즘을 제공하는 것.

제안 방법

• 최적의 양자화 임계값을 찾기 위해 가능도 비율 r = φ₀(y)/φ₁(y)에 대한 이분법 기반 탐색을 제안한다.
• 최적의 상호정보량에 대한 분석적 경계를 도출하기 위해 A₁₁* > 1/e 및 A₂₂* > 1/e임을 증명한다. 여기서 Aᵢⱼ는 최적 채널 행렬의 원소이다.
• f(r) (입력 0일 때 출력 0일 확률)와 g(r) (입력 1일 때 출력 1일 확률)의 단조성 성질을 이용해 탐색 간격을 좁힌다.
• 감소하는 f(r)와 증가하는 g(r)의 성질을 활용하여, 전역 최대값 I(X;Z)를 찾기 위해 축소된 간격 [0.8, 9.1] 내에서 해상도 ε = 0.01로 완전 탐색을 수행한다.
• f(r)가 r에 대해 감소하고 g(r)가 증가함을 이용해, f(r) = 1/e 및 g(r) = 1/e를 만족하는 범위를 효율적으로 이분법으로 탐색할 수 있다.
• 정리 3, 5, 6의 이론적 결과를 활용하여 r에 대한 탐색 가능 영역을 제약함으로써 계산 부담을 크게 감소시킨다.

실험 결과

연구 질문

• RQ1 이진 입력 연속 출력 채널에서 상호정보량 I(X;Z)를 최대화하는 전역 최적의 입력 분포와 1비트 양자화기 임계값은 무엇인가?
• RQ2 최적의 양자화기 임계값 탐색 공간을 분석적으로 어떻게 축소시켜 계산 효율을 향상시킬 수 있는가?
• RQ3 최적 해가 존재하기 위한 채널 행렬 원소 A₁₁ 및 A₂₂에 대한 필수 조건는 무엇인가?
• RQ4 양자화기 매개변수에 대한 상호정보량의 비볼록성에도 불구하고 전역 최적성을 달성할 수 있는 선형 시간 복잡도 알고리즘을 설계할 수 있는가?

주요 결과

• φ₀ ~ N(−1, 6) 및 φ₁ ~ N(1, 5) 조건 하에서 최적의 상호정보량 I(X;Z)*는 0.7249이며, 이는 r* = 1.36에서 도달된다.
• 최적의 양자화기 임계값은 가능도 비율 r* = 1.36에 해당하며, 이는 A₁₁* > 1/e 및 A₂₂* > 1/e 조건에 의해 유도된 축소된 탐색 간격 [0.8, 9.1] 내에 포함된다.
• 함수 f(r) (P(Z=0|X=0))는 엄격히 감소하고 g(r) (P(Z=1|X=1))는 엄격히 증가하므로, 효율적인 이분법 탐색이 가능하다.
• 최적의 입력 분포는 조건 (A₁₁ − p₀)(A₂₂ − p₁) ≥ 0 및 A₁₁ + A₂₂ ≥ 1에 의해 도출된 A₁₁ ≥ p₀ 및 A₂₂ ≥ p₁를 만족한다.
• 이론적 경계를 통한 탐색 공간 축소는 빠른 속도 향상 효과를 가져오며, 비볼록 문제임에도 불구하고 선형 시간 복잡도 알고리즘을 가능하게 한다.
• 제안된 방법은 히ュ리스틱 또는 근사 최적화 방법과 달리 주어진 제약 조건 하에서 전역 최적성을 보장한다. 따라서 국소 최적해에 수렴하거나 실패할 수 있는 문제를 방지한다.