[论文解读] Information Loss and Anti-Aliasing Filters in Multirate Systems

Bernhard C. Geiger, Gernot Kubin|arXiv (Cornell University)|Oct 31, 2013

stochastic dynamics and bifurcation参考文献 10被引用 4

一句话总结

本文研究了带抗混叠滤波器的多速率抽取系统中的信息损失，表明在缺乏特定信号模型的情况下，抗混叠滤波器无法减少信息损失。对于高斯信号和信号加噪声模型，最优滤波器为分段常数，且与基于能量的设计一致，从而从信息论角度为基于二阶统计量的滤波器设计提供了理论依据。

ABSTRACT

This work investigates the information loss in a decimation system, i.e., in a downsampler preceded by an anti-aliasing filter. It is shown that, without a specific signal model in mind, the anti-aliasing filter cannot reduce information loss, while, e.g., for a simple signal-plus-noise model it can. For the Gaussian case, the optimal anti-aliasing filter is shown to coincide with the one obtained from energetic considerations. For a non-Gaussian signal corrupted by Gaussian noise, the Gaussian assumption yields an upper bound on the information loss, justifying filter design principles based on second-order statistics from an information-theoretic point-of-view.

研究动机与目标

• 从信息论角度分析带抗混叠滤波器的抽取系统中的信息损失。
• 在未假设特定信号模型的情况下，确定抗混叠滤波器是否能减少信息损失。
• 推导与相关信号相关的高斯输入过程的最优抗混叠滤波器。
• 将结果扩展至受高斯噪声污染的非高斯信号，建立信息损失的上界。
• 从信息论角度为基于二阶统计量（如功率谱密度）的滤波器设计提供理论支持。

提出的方法

• 使用互信息和微分熵速率来量化抽取系统中的信息损失。
• 应用Rényi信息维数和Paley-Wiener条件，以确保熵有限且滤波器响应稳定。
• 在高斯假设下，通过最小化信息损失，推导出最优滤波器为分段常数。
• 证明最优滤波器与最大化信噪比的能量压缩滤波器一致。
• 使用高斯近似，对非高斯信号加噪声场景下的信息损失进行上界估计。
• 证明高斯假设可提供信息损失的上界，从而为基于二阶统计量的滤波器设计提供理论依据。

实验结果

研究问题

• RQ1 在缺乏特定信号模型的情况下，抗混叠滤波器是否能减少抽取系统中的信息损失？
• RQ2 对于与相关信号相关的高斯输入过程，最优抗混叠滤波器是什么？
• RQ3 在受高斯噪声污染的非高斯信号中，信息损失如何表现？
• RQ4 在一般情况下，基于二阶统计量（PSD）的滤波器设计是否能保证信息损失有界？
• RQ5 是否可以使用高斯假设来为非高斯信号加噪声系统中的信息损失提供上界？

主要发现

• 在缺乏特定信号模型时，抗混叠滤波器无法减少信息损失，因为所有输入分量在能量上被视为等同，无论其能量大小。
• 对于与相关信号相关的高斯输入，最优抗混叠滤波器为分段常数，且与能量压缩滤波器一致。
• 在高斯情况下，最优滤波器与最小化均方误差和最大化信噪比的滤波器完全一致。
• 对于受高斯噪声污染的非高斯信号，高斯假设可提供信息损失的上界。
• 基于二阶统计量（PSD）的滤波器设计在信息论上是合理的，因为即使在非高斯情况下，该设计也能控制信息损失。
• 最优滤波器结构通过最小化抽取系统输入与输出之间的互信息推导得出，其频率响应为分段常数。