[論文レビュー] Non-Linear Transformations of Gaussians and Gaussian-Mixtures with implications on Estimation and Information Theory

Paolo Banelli|arXiv (Cornell University)|Nov 25, 2011

Power Line Communications and Noise参考文献 33被引用数 20

ひとこと要約

本稿では、平均が0のガウス入力またはガウス・ミックスチャネルに対する非線形変換に関して、出力と入力の各成分との間の線形回帰係数（LRC）が、全体の入出力LRCと等しくなることを確立している。これにより、SNR、MSE、相互情報量の解析が簡略化される。主な結果は、平均が0のガウス分布の下では、部分的LRCが総LRCに等しくなることであり、これにより、多重積分を避けて推定および情報理論的指標の閉形式計算が可能になる。

ABSTRACT

This paper investigates the statistical properties of non-linear transformations (NLT) of random variables, in order to establish useful tools for estimation and information theory. Specifically, the paper focuses on linear regression analysis of the NLT output and derives sufficient general conditions to establish when the input-output regression coefficient is equal to the \emph{partial} regression coefficient of the output with respect to a (additive) part of the input. A special case is represented by zero-mean Gaussian inputs, obtained as the sum of other zero-mean Gaussian random variables. The paper shows how this property can be generalized to the regression coefficient of non-linear transformations of Gaussian-mixtures. Due to its generality, and the wide use of Gaussians and Gaussian-mixtures to statistically model several phenomena, this theoretical framework can find applications in multiple disciplines, such as communication, estimation, and information theory, when part of the nonlinear transformation input is the quantity of interest and the other part is the noise. In particular, the paper shows how the said properties can be exploited to simplify closed-form computation of the signal-to-noise ratio (SNR), the estimation mean-squared error (MSE), and bounds on the mutual information in additive non-Gaussian (possibly non-linear) channels, also establishing relationships among them.

研究の動機と目的

• ガウス入力の非線形変換における部分的線形回帰係数（LRC）の計算を簡略化すること。
• 入力の成分に関する出力のLRCが、全体の入出力LRCに等しくなる一般条件を確立すること。
• これらの結果をガウス・ミックスチャネルに拡張し、インパルス性ノイズやクラスタリングされたデータのモデリングに応用可能にする。
• 非ガウス的・非線形チャネルにおけるSNR、MSE、相互情報量の境界の閉形式表現を導出すること。
• ガウスまたはガウス・ミックス入力を持つ非線形システムにおいて、等利得LRC特性を通じて推定理論と情報理論の指標を統合すること。

提案手法

• 出力と入力の間の入出力線形回帰係数（LRC）を $ k_y = \frac{E\{g(Y)Y\}}{E\{Y^2\}} $ として導出し、入力と歪みの間の直交性を保証する。
• 部分的LRCと総LRCの等価性の十分条件を確立：入力が独立かつ平均が0のガウス分布の和である場合。
• バスガングの定理を応用し、特性関数解析と自己デコンボリューション技術を用いてガウス・ミックスへ拡張する。
• 特性関数とフーリエ変換を用いて、同分布独立ガウス変数の和の分布を分析し、等利得行動の条件を導出する。
• 平均が0のガウス分布の場合、入力成分のスケーリングにかかわらず $ k_x = k_y $ が成り立つことを証明し、単一積分による計算が可能になる。
• 等LRC特性を用いて、相互情報量の境界およびSNR、MSE、信号パワーの関係を導出する。

実験結果

リサーチクエスチョン

• RQ1 非線形変換出力の、入力の成分に関する部分的線形回帰係数（LRC）が、全体の入出力LRCに等しくなる条件は何か？
• RQ2 バスガングの定理を超えて、非ガウス的およびガウス・ミックス入力に対しても等LRC特性を拡張できるか？
• RQ3 等LRC特性は、非線形的・非ガウス的チャネルにおけるSNR、MSE、相互情報量の閉形式計算をどのように簡略化できるか？
• RQ4 平均が0のガウス分布が、部分的LRCが総LRCに等しくなることを保証する役割を果たす理由は何か？
• RQ5 理論的枠組みは、2つ以上の独立した平均が0の確率変数の和に対しても一般化可能か？

主な発見

• 平均が0のガウス入力 $ Y = X + N $ に対して、$ Z = g(Y) $ の $ X $ に関する部分的LRCは、全体の入出力LRCに等しく、すなわち $ k_x = k_y $ が成り立つ。これは $ X $ と $ N $ が同一分布でなくても成り立つ。
• 入力が独立かつ平均が0のガウス成分の和である場合、ガウス・ミックスに対しても等LRC特性が成り立つ。これにより、推定および情報理論的解析の簡略化が可能になる。
• 等LRC特性を用いることで、SNR、MSE、相互情報量の境界の閉形式表現を導出可能であり、複雑な多重積分を回避できる。
• すべての実数 $ k_x $ に対して $ 1 + \text{SNR}_x > \frac{\sigma_X^2}{\text{MSE}} $ が成り立つ。これは、SNRに基づく相互情報量の下界がMSEに基づく下界を上回ることを示している。
• 特性関数アプローチにより、$ f_N(n) = G(n - \rho m_X; \rho \sigma_X^2) $ が成り立つのは $ m_X = 0 $ の場合に限ることを確認し、等利得性のためには平均が0の入力が必要であることを裏付けた。
• 非ゼロ平均ガウス分布では、特性関数導出におけるモーメント制約の不整合性により、等利得条件は成立しないことが示された。