[논문 리뷰] Discriminative Mutual Information Estimators for Channel Capacity Learning

Nunzio A. Letizia, Andrea M. Tonello|arXiv (Cornell University)|2021. 07. 07.

Wireless Signal Modulation Classification참고 문헌 28인용 수 5

한 줄 요약

이 논문은 기억이 없는 벡터 채널의 채널 용량을 직접적으로 추정하기 위해 입력과 출력 신호 간 상호정보량을 추정하는 디스커미네이터를 활용하는 협동적 딥러닝 프레임워크인 CORTICAL을 제안한다. 이 방법은 MINE보다 분산이 낮고 정확도가 높은 두 가지 분류형 상호정보량 추정기—dDIME와 iDIME—를 도입하여 고차원 및 저SNR 영역에서 특히 우수한 성능을 보인다.

ABSTRACT

Channel capacity plays a crucial role in the development of modern communication systems as it represents the maximum rate at which information can be reliably transmitted over a communication channel. Nevertheless, for the majority of channels, finding a closed-form capacity expression remains an open challenge. This is because it requires to carry out two formidable tasks a) the computation of the mutual information between the channel input and output, and b) its maximization with respect to the signal distribution at the channel input. In this paper, we address both tasks. Inspired by implicit generative models, we propose a novel cooperative framework to automatically learn the channel capacity, for any type of memory-less channel. In particular, we firstly develop a new methodology to estimate the mutual information directly from a discriminator typically deployed to train adversarial networks, referred to as discriminative mutual information estimator (DIME). Secondly, we include the discriminator in a cooperative channel capacity learning framework, referred to as CORTICAL, where a discriminator learns to distinguish between dependent and independent channel input-output samples while a generator learns to produce the optimal channel input distribution for which the discriminator exhibits the best performance. Lastly, we prove that a particular choice of the cooperative value function solves the channel capacity estimation problem. Simulation results demonstrate that the proposed method offers high accuracy.

연구 동기 및 목표

• 대부분의 채널에서 닫힌 형태의 표현식이 없는 한계를 극복하여 채널 용량을 추정하는 데 오랫동안 해결되지 않은 과제를 다루기.
• 일般적인 기억이 없는 채널에서 상호정보량의 계산 및 입력 분포에 대한 최대화가 불가능한 문제를 해결하기.
• 최적의 입력 분포를 학습하여 최대 정보 전송을 달성하는 데이터 기반, 엔드 투 엔드 프레임워크 개발하기.
• 기존의 변분 경계보다 편향, 분산, 확장성 측면에서 향상된 새로운 분류형 상호정보량 추정기 도입하기.

제안 방법

• GAN 스타일의 디스커미네이터를 기반으로 한, 결합 분포와 주변분포 샘플을 구분하는 dDIME(direct DIME) 추정기를 제안한다.
• 파라미터화된 비용 함수와 알파-정규화를 사용하는 iDIME(indirect DIME) 추정기를 도입하여 안정성 향상과 분산 감소를 도모한다.
• 최적의 입력 분포를 모델링하는 생성기와 상호정보량을 추정하는 디스커미네이터 간의 협동 게임을 설정하여 CORTICAL 프레임워크를 구성한다.
• KL 발산의 Donsker-Varadhan 표현을 사용하여 상호정보량에 대한 변분 하한을 유도함으로써 확률적 최적화를 통한 학습 가능하게 한다.
• 디스커미네이터의 성능을 최대화하도록 생성기를 학습시켜, 암묵적으로 상호정보량을 최대화하고 이로써 채널 용량을 추정한다.
• 특정 조건 하에서 정확히 채널 용량 추정 문제를 해결할 수 있는 협동 가치 함수를 도입한다.

실험 결과

연구 질문

• RQ1 GAN 스타일의 디스커미네이터는 채널 입력과 출력 신호 간의 상호정보량을 추정하는 데 재사용될 수 있으며, 이를 통해 용량 학습이 가능할 수 있는가?
• RQ2 dDIME와 iDIME 추정기가 다양한 SNR 및 차원 설정에서 MINE와 비교해 편향, 분산, 정확도 측면에서 어떻게 성능을 내는가?
• RQ3 CORTICAL 프레임워크는 채널에 대한 사전 지식 없이도 연속적 및 이산적 신호 전송 방식에 최적의 입력 분포를 학습할 수 있는가?
• RQ4 알파 파라미터는 저SNR 조건에서 추정기의 안정성과 성능에 어떤 영향을 미치는가?
• RQ5 생성기-디스커미네이터 학습을 통한 협동 프레임워크는 기억이 없는 벡터 채널에서 진정한 채널 용량으로 수렴하는가?

주요 결과

• dDIME 추정기는 MINE와 iDIME보다 분산이 낮고 정확도의 약간의 희생만으로도 더 안정적인 성능을 보이며 실용적 구현에 유리하다.
• iDIME 추정기는 고차원 설정(예: 10차원 정규분포)에서 MINE보다 정확도가 뛰어나며, 다양한 SNR 수준에서 낮은 분산을 유지한다.
• dDIME 추정기는 추정 과정에서 결합 샘플만을 사용하므로 데이터 수집을 단순화하고 학습 효율성을 향상시킨다.
• iDIME 추정기는 결합 샘플과 주변 샘플을 모두 사용하여 MINE와 dDIME보다 높은 정확도를 달성하지만, NWJ 기반 추정기와 유사하게 높은 분산을 보인다.
• AWGN 채널에서 CORTICAL은 이론적 용량 한계에 부합하는 2차원 정규분포 입력 분포를 성공적으로 학습하였으며, 별도의 구성도 및 상호정보량 추정을 통해 확인되었다.
• 이산 입력(8-PSK)의 경우, 프레임워크는 기존의 잘 알려진 변조 방식과 유사한 상호정보량 추정치를 달성하여 실제 복소도에의 적용 가능성을 입증하였다.