[論文レビュー] Discriminative Mutual Information Estimators for Channel Capacity Learning

Nunzio A. Letizia, Andrea M. Tonello|arXiv (Cornell University)|Jul 7, 2021

Wireless Signal Modulation Classification参考文献 28被引用数 5

ひとこと要約

本稿では、入力と出力信号間の相互情報量を直接推定するための識別器を活用して、任意の無記憶ベクトル通信路のチャネル容量を推定する協調的ディープラーニングフレームワークCORTICALを提案する。本手法は、MINEに比べて分散が小さく、高次元および低SNR領域でも高い精度を示す2つの識別的相互情報量推定器—dDIMEおよびiDIME—を導入している。

ABSTRACT

Channel capacity plays a crucial role in the development of modern communication systems as it represents the maximum rate at which information can be reliably transmitted over a communication channel. Nevertheless, for the majority of channels, finding a closed-form capacity expression remains an open challenge. This is because it requires to carry out two formidable tasks a) the computation of the mutual information between the channel input and output, and b) its maximization with respect to the signal distribution at the channel input. In this paper, we address both tasks. Inspired by implicit generative models, we propose a novel cooperative framework to automatically learn the channel capacity, for any type of memory-less channel. In particular, we firstly develop a new methodology to estimate the mutual information directly from a discriminator typically deployed to train adversarial networks, referred to as discriminative mutual information estimator (DIME). Secondly, we include the discriminator in a cooperative channel capacity learning framework, referred to as CORTICAL, where a discriminator learns to distinguish between dependent and independent channel input-output samples while a generator learns to produce the optimal channel input distribution for which the discriminator exhibits the best performance. Lastly, we prove that a particular choice of the cooperative value function solves the channel capacity estimation problem. Simulation results demonstrate that the proposed method offers high accuracy.

研究の動機と目的

• 大多数の通信路で閉形式の表式を持たない場合のチャネル容量推定という長年の課題に取り組む。
• 一般の無記憶通信路における相互情報量の計算およびその入力分布に関する最大化の非可解性を克服する。
• 最適な入力分布を学習するデータ駆動型でエンドツーエンドのフレームワークを構築する。
• バイアス、分散、スケーラビリティの観点で既存の変分境界を改善する、新たな識別的相互情報量推定器を導入する。

提案手法

• GANスタイルの識別器を用いて、結合分布と周辺分布の積のサンプルを区別するdDIME（直接DIME）推定器を提案する。
• パラメータ化されたコスト関数とアルファ正則化を用いるiDIME（間接DIME）推定器を導入し、安定性と分散の低減を図る。
• 最適な入力分布をモデル化する生成器と、相互情報量を推定する識別器の間で協調的なゲームを定式化し、CORTICALフレームワークを構築する。
• KLダイバージェンスのDonsker-Varadhan表現を用いて、相互情報量の変分下界を導出し、確率的最適化による学習を可能にする。
• 生成器を、識別器の性能を最大化するように学習させることで、間接的に相互情報量を最大化し、結果としてチャネル容量を推定する。
• 特定の条件下で真のチャネル容量推定問題を正確に解くことができる協調的価値関数を導入する。

実験結果

リサーチクエスチョン

• RQ1 GANスタイルの識別器を、チャネル入力と出力信号間の相互情報量を推定するように再利用可能か？ その結果、容量学習が可能になるか？
• RQ2 SNRおよび次元数の異なる設定において、提案されたdDIMEおよびiDIME推定器はMINEと比較して、バイアス、分散、精度の観点でどのように異なるか？
• RQ3 CORTICALフレームワークは、通信路の事前知識なしに、連続的および離散的信号方式の両方における最適な入力分布を学習可能か？
• RQ4 アルファパラメータは、特に低SNR領域において、推定器の安定性と性能にどのような影響を与えるか？
• RQ5 生成器と識別器の協調的トレーニングフレームワークは、無記憶ベクトル通信路において真のチャネル容量に収束するか？

主な発見

• dDIME推定器はMINEおよびiDIMEに比べて分散が小さく、わずかな精度のトレードオフの後でも、実用的デプロイメントに適した安定性を示す。
• iDIME推定器は、特に高次元設定（例：10次元ガウス分布）においてMINEを上回る精度を達成し、SNRの変動にかかわらず低分散を維持する。
• dDIME推定器は推定中に結合サンプルのみを用いるため、データ収集が簡素化され、トレーニング効率が向上する。
• iDIME推定器は結合サンプルと周辺サンプルの両方を用いるため、MINEおよびdDIMEに比べて高い精度を達成するが、NWJベースの推定器と同様に高い分散を示す。
• AWGNチャネルにおいて、CORTICALは理論的容量限界と一致する2次元ガウス入力分布を正しく学習しており、コンステレーション可視化と相互情報量推定の両方で確認されている。
• 離散入力（8-PSK）の場合、フレームワークは確立された変調方式と同等の相互情報量推定値を達成しており、実用的コンステレーションへの適用可能性を示している。