[논문 리뷰] The Information Flow and Capacity of Channels with Noisy Feedback

Chong Li, Nicola Elia|arXiv (Cornell University)|2011. 08. 13.

Wireless Communication Security Techniques참고 문헌 34인용 수 7

한 줄 요약

이 논문은 노이즈가 있는 피드백을 갖는 채널에서 효과적인 정보 흐름을 정량화하기 위해 잔여 지향 정보를 도입하며, 일반적인 닫힌 루프 인코더가 조율 손실로 인해 용량을 달성할 수 없다는 것을 증명한다. 잔여 지향 정보를 기반으로 일반적인 코딩 정리와 인과적 조건부 지향 정보를 통해 계산 가능한 경계를 수립하여 통신 시스템에서 노이즈 있는 피드백의 유용성에 관한 오랫동안 남아있던 질문을 해결한다.

ABSTRACT

In this paper, we consider some long-standing problems in communication systems with access to noisy feedback. We introduce a new notion, the residual directed information, to capture the effective information flow (i.e. mutual information between the message and the channel outputs) in the forward channel. In light of this new concept, we investigate discrete memoryless channels (DMC) with noisy feedback and prove that the noisy feedback capacity is not achievable by using any typical closed-loop encoder (non-trivially taking feedback information to produce channel inputs). We then show that the residual directed information can be used to characterize the capacity of channels with noisy feedback. Finally, we provide computable bounds on the noisy feedback capacity, which are characterized by the causal conditional directed information.

연구 동기 및 목표

• 노이즈 있는 피드백을 갖는 통신 시스템에서 오랫동안 남아있던 열린 문제를 해결하기 위해, 특히 노이즈 있는 피드백이 신뢰성 향상이나 복잡도 감소에 기여하는지 여부를 밝히는 것.
• 피드백이 노이즈가 있을 경우 전송기-수신기 간의 조율을 방해하므로, 이로 인해 발생하는 전방 채널에서의 효과적인 정보 흐름의 개념을 체계화하는 것.
• 일반적인 노이즈 있는 피드백을 갖는 이산 메모리리스 채널(DMC)에서 표준 닫힌 루프 인코딩 전략이 조율을 위해 필수적인 비용을 지불함으로써 용량을 달성할 수 없다는 것을 증명하는 것.
• 완벽한 피드백에 대한 이전 연구를 확장하여, 잔여 지향 정보를 기반으로 한 노이즈 있는 피드백 채널에 대한 일반적인 채널 코딩 정리를 수립하는 것.
• 인과적 조건부 지향 정보를 사용하여 노이즈 있는 피드백 용량에 대한 계산 가능한 경계를 유도함으로써, 동적 프로그래밍 기반의 실용적 계산이 가능하도록 하는 것.

제안 방법

• 노이즈 있는 피드백 시스템에서 메시지와 채널 출력 간의 효과적 상호정보량을 캡처하기 위해, 새로운 정보이론적 측정치인 잔여 지향 정보를 제안한다.
• 코드워드에서 코드 함수로의 변환을 통해 노이즈 있는 피드백 코딩 문제를 최적화된 입력 분포를 갖는 등가의 비피드백 문제로 재구성한다.
• 도달 가능성 경계를 확립하기 위해 랜덤 코딩 추론을 적용하며, 오류 확률은 잔여 지향 정보와 지수적 페널티 항으로 유계화된다.
• 모든 입력 분포에 대해 잔여 지향 정보의 Supremum이 도달 가능한 속도에 대한 상한으로서 작용하는 대조 정리를 도출한다.
• 잔여 지향 정보의 계산 가능한 대체 측정치로 인과적 조건부 지향 정보를 도입하여, 동적 프로그래밍 기반의 계산이 가능하도록 한다.
• 기존의 동적 프로그래밍 프레임워크(예: Tatikonda-Mitter)를 활용하여 효율적으로 경계를 계산하며, 이를 노이즈 있는 피드백 설정으로 확장한다.

실험 결과

연구 질문

• RQ1 노이즈 있는 피드백이 통신 시스템에서 오류 지수를 향상시키거나 인코딩 복잡도를 감소시킬 수 있는가?
• RQ2 노이즈 있는 피드백을 갖는 이산 메모리리스 채널의 용량은 피드백을 사용해 입력을 생성하는 일반적인 닫힌 루프 인코더에 의해 달성 가능한가?
• RQ3 피드백이 노이즈 있고 신뢰할 수 없을 경우 전방 채널의 효과적인 정보 흐름은 어떻게 정량화할 수 있는가?
• RQ4 노이즈 있는 피드백을 갖는 시스템에 대한 채널 용량의 일반적 특성은 무엇이며, 실용적으로 계산 가능한가?
• RQ5 지향 정보의 일반화를 통해 노이즈 있는 피드백 용량에 대한 계산 가능한 경계를 도출할 수 있는가?

주요 결과

• 일반적인 노이즈 있는 피드백을 갖는 이산 메모리리스 채널의 용량은 조율 복구를 위해 비용을 지불해야 하므로, 어떤 일반적인 닫힌 루프 인코더에 의해서도 달성될 수 없다.
• 잔여 지향 정보는 노이즈 있는 피드백 상황에서 전방 채널의 효과적인 정보 흐름을 정확하게 특성화하며, 기존의 지향 정보를 대체한다.
• 일반적인 노이즈 있는 피드백 채널 코딩 정리는 입력 분포에 대한 잔여 지향 정보의 Supremum이 노이즈 있는 피드백 용량과 일치함을 증명한다.
• 인과적 조건부 지향 정보를 사용하여 노이즈 있는 피드백 용량에 대한 계산 가능한 상한과 하한 경계를 도출하였으며, 이는 표준 지향 정보의 일반화이다.
• 이 경계들은 동적 프로그래밍 계산에 적합하여 특정 채널에서 피드백 용량을 실용적으로 평가할 수 있도록 한다.
• 이 프레임워크는 노이즈 있는 피드백이 유용한가에 대한 근본적인 질문을 해결한다: 잔여 지향 정보를 통해 적절히 정량화된 경우에만 유용하다.