[논문 리뷰] Quantization of Binary-Input Discrete Memoryless Channels, with Applications to LDPC Decoding

Brian M. Kurkoski, Hideki Yagi|arXiv (Cornell University)|2011. 07. 28.

Error Correcting Code Techniques참고 문헌 20인용 수 14

한 줄 요약

이 논문은 이중 입력 이산 기억성 채널에 대한 최적의 양자화 방법을 제안하며, 이는 이동정보를 최대화하기 위해 2차 복잡도를 가지는 동적 프rogram밍 알고리즘을 사용한다. LDPC 디코딩에 적용했을 때, 메시지 전달 맵을 체계적으로 설계하여 메시지당 4비트만으로도 신뢰성 있는 전방전파 성능에 근접한 잡음 임계치를 달성한다. 이는 히우리스틱적 양자화 디코딩 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Abstract—The quantization of the output of a binary-input discrete memoryless channel to a smaller number of levels is considered. The optimal quantizer, in the sense of maximizing mutual information between the channel input and the quantizer output, may be found by an algorithm with complexity which is quadratic in the number of channel outputs. This is a concave optimization problem, and results from the field of concave optimization are invoked. The quantizer design algorithm is a realization of a dynamic program. Then, this algorithm is applied to the design of message-passing decoders for low-density parity-check codes, over arbitrary discrete memoryless channels. A general, systematic method to find message-passing decoding maps which maximize mutual information at each iteration is given. This may contrasted with existing quantized message-passing algorithms which are heuristically derived. The method finds message-passing decoding maps similar to those given by Richardson and Urbanke’s Algorithm E. Using four bits per message, noise thresholds similar to belief-propagation decoding are obtained. Index Terms—discrete memoryless channel, channel quantiza-tion, mutual information maximization, LDPC decoding I.

연구 동기 및 목표

• 입력과 양자화된 출력 사이의 상호정보량을 최대화하는 이진 입력 이산 기억성 채널을 위한 최적의 양자화기를 개발하는 것.
• 양자화된 LDPC 디코더에서 메시지 전달 디코딩 맵에 대한 체계적인 설계 방법의 부족을 해결하는 것.
• 각 디코딩 반복 단계에서 상호정보량을 최대화하는 메시지 전달 맵을 유도하는 일반적이고 원리적인 프레임워크를 제공하는 것.
• 특히 메시지당 4비트의 최소 정밀도로도 전방전파 성능에 가까운 성능을 달성하는 것.

제안 방법

• 최적의 양자화기 설계를 위해 볼록 최적화 문제를 해결하는 동적 프로그래밍 알고리즘을 사용하며, 이는 상호정보량 최대화의 전역 최적성을 보장한다.
• 알고리즘은 채널 출력 수준의 수에 대해 2차 시간 복잡도를 가지며, 볼록 최적화 이론의 결과를 활용한다.
• 메시지 전달 디코딩 맵은 각 반복 단계에서 상호정보량을 최대화하는 양자화된 메시지로 표현되며, 최적의 양자화기 설계에서 유도된다.
• 정보이론적 원칙에서 유도된 바탕으로 기존의 히우리스틱적 양자화 규칙(예: 리처드슨과 얼반케의 알고리즘 E)을 일반화하고 체계화한다.
• 이 방법은 임의의 이산 기억성 채널에 적용 가능하여, LDPC 코드를 위한 체계적인 양자화 디코더 설계를 가능하게 한다.
• 이 방법은 메시지 정밀도를 최소화(특히 메시지당 4비트)하면서도 높은 성능을 유지할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 이진 입력 이산 기억성 채널의 출력을 최대한의 상호정보량을 유지하도록 양자화하는 최적의 방법은 무엇인가?
• RQ2 LDPC 코드의 메시지 전달 디코딩 맵을 각 반복 단계에서 상호정보량을 최대화하도록 체계적으로 유도하는 방법은 무엇인가?
• RQ3 원리적인 정보이론적 접근 방식이 LDPC 디코딩에서 히우리스틱적 양자화 규칙을 초월할 수 있는가?
• RQ4 얼마나 많은 비트 수의 메시지 정밀도가 전방전파 성능에 근접한 잡음 임계치를 달성하는 데 충분한가?
• RQ5 리처드슨와 얼반케의 알고리즘 E와 비교했을 때, 제안된 양자화 방법은 성능과 설계의 엄밀함 측면에서 어떻게 다른가?

주요 결과

• 제안된 양자화 알고리즘은 채널 출력 수준의 수에 대해 2차 복잡도로 최적의 상호정보량 최대화를 달성한다.
• 이 방법은 히우리스틱적 접근과 대비하여 정보이론적 원칙에서 체계적으로 도출된 메시지 전달 디코딩 맵을 생성한다.
• 메시지당 4비트만으로도 전방전파 디코딩의 잡음 임계치와 거의 동일한 성능을 달성한다.
• 동적 프로그래밍 수식은 국소 최적값을 피하는 전역 최적성을 보장한다.
• 이 방법은 임의의 이산 기억성 채널로 일반화 가능하여, 양자화된 LDPC 디코더의 체계적 설계를 가능하게 한다.
• 결과적으로 상호정보량 최대화가 리처드슨와 얼반케의 알고리즘 E에서 관찰되는 디코딩 맵과 유사한 형태로 이어지며, 이는 본 방법의 효과성을 검증한다.