[논문 리뷰] On Extrinsic Information of Good Codes Operating Over Discrete Memoryless Channels

Michael Peleg, Amichai Sanderovich외 1명|ArXiv.org|2005. 04. 07.

Error Correcting Code Techniques참고 문헌 10인용 수 6

한 줄 요약

이 논문은 이산 메모리 없는 채널(DMC)에서 좋은(용량을 달성하는) 코드에 대해, 코드 레이트가 채널 용량을 초과할 경우 복호화된 비트에 대한 외부 정보는 0이 되며, 그렇지 않은 경우 양의 상수로 유지됨을 보여준다. 이 결과는 이러한 코드가 용량을 초과하는 영역에서 복호화가 불가능하며, 투르보 등화나 순차 연결과 같은 반복적 수신기 아키텍처에서 고전적인 용량 달성 코드가 효과적으로 기능하지 못함을 시사한다.

ABSTRACT

We show that the Extrinsic Information about the coded bits of any good (capacity achieving) code operating over a wide class of discrete memoryless channels (DMC) is zero when channel capacity is below the code rate and positive constant otherwise, that is, the Extrinsic Information Transfer (EXIT) chart is a step function of channel quality, for any capacity achieving code. It follows that, for a common class of iterative receivers where the error correcting decoder must operate at first iteration at rate above capacity (such as in turbo equalization, turbo channel estimation, parallel and serial concatenated coding and the like), classical good codes which achieve capacity over the DMC are not effective and should be replaced by different new ones. Another meaning of the results is that a good code operating at rate above channel capacity falls apart into its individual transmitted symbols in the sense that all the information about a coded transmitted symbol is contained in the corresponding received symbol and no information about it can be inferred from the other received symbols. The binary input additive white Gaussian noise channel is treated in part 1 of this report. Part 2 extends the results to the symmetric binary channel and to the binary erasure channel and provides an heuristic extension to wider class of channel models.

연구 동기 및 목표

• 이산 메모리 없는 채널(DMC)에서 작동하는 좋은 코드의 외부 정보 행동을 조사하는 것.
• 용량을 달성하는 코드가 용량을 초과하는 레이트에서 복호화가 필요한 반복적 수신기 아키텍처에서 효과적으로 기능할 수 있는지 여부를 규명하는 것.
• 투르보 등화나 투르보 채널 추정과 같은 시스템에서 고전적인 좋은 코드의 한계에 대한 이론적 기반을 확립하는 것.
• 이중 입력 가우시안 노이즈(BI-AWGN) 채널에서의 결과를 더 넓은 범위의 DMC, 예를 들어 이진 대칭 채널과 이진 지워짐 채널으로 확장하는 것.

제안 방법

• 정보이론적 원리를 사용하여 용량을 달성하는 코드에서 외부 정보의 渐近적 행동을 분석한다.
• 외부 정보 전달(EXIT) 차트의 개념을 적용하여, 복호화된 비트와 그 외부 추정치 사이의 상호정보량의 변화를 특성화한다.
• DMC의 대칭성과 무메모리 성질을 활용하여 다양한 코드 레이트에서 외부 정보의 해석적 표현을 유도한다.
• 직관적 추론을 통해 BI-AWGN 채널에서의 결과를 대칭 이진 입력 채널과 이진 지워짐 채널(BEC)으로 확장한다.
• 용량을 초과하는 레이트에서는 복호화된 기호와 그 외부 추정치 사이의 상호정보량이 0으로 붕괴됨을 보여주며, 이는 복호화 이득이 없음을 의미한다.
• EXIT 차트에 단계함수 모델을 도입하여, 외부 정보가 용량 임계점에서 갑작스럽게 0에서 양의 상수로 전이됨을 보여준다.

실험 결과

연구 질문

• RQ1 DMC에서 용량을 초과하는 레이트로 작동하는 좋은 코드에서 외부 정보의 행동은 어떠한가?
• RQ2 용량을 달성하는 코드에 대해 채널 품질에 따라 외부 정보는 어떻게 변화하는가?
• RQ3 고전적인 좋은 코드는 용량을 초과하는 레이트에서 복호화가 필요한 반복적 수신기에서 효과적으로 사용될 수 있는가?
• RQ4 용량 초과 시 외부 정보가 0이 되는 것은 구조적 의미가 있는가? 이는 코드가 개별 기호로 분해된다는 것을 의미하는가?
• RQ5 BI-AWGN 채널에서의 결과를 이진 대칭 채널과 지워짐 채널과 같은 다른 DMC로 얼마나 일반화할 수 있는가?

주요 결과

• 어떤 좋은 코드이든 DMC에서 작동할 경우, 코드 레이트가 채널 용량을 초과하면 복호화된 비트에 대한 외부 정보는 0이 된다.
• 코드 레이트가 용량 이하일 경우, 외부 정보는 양의 상수로 유지되며, 이는 효과적인 복호화 이득을 의미한다.
• 이러한 코드의 EXIT 차트는 단계함수 형태이며, 용량 임계점에서 급격한 전이가 발생한다.
• 용량을 초과하는 레이트에서 복호화가 필요한 반복적 수신기, 예를 들어 투르보 등화나 순차 연결 코딩에서 고전적인 용량 달성 코드는 효과적이지 않다.
• 용량 초과 영역에서는 좋은 코드가 효과적으로 개별 전송 기호들로 분리되며, 다른 수신 기호들로부터 어떤 복호화된 기호에 대한 정보도 유추할 수 없다.
• 결과는 이중 입력 가우시안 노이즈 채널에서 해석적으로 확인되었으며, 대칭 이진 채널과 이진 지워짐 채널으로 히우리스틱하게 확장되었다.