[论文解读] Measure Transformed Independent Component Analysis

Koby Todros, Alfred O. Hero|arXiv (Cornell University)|Feb 4, 2013

Blind Source Separation Techniques参考文献 48被引用 4

一句话总结

本文提出测量变换独立分量分析（MTICA），一种新颖的半参数、基于统计的 ICA 框架，通过应用结构化的概率测度变换于观测数据，实现独立源的唯一分离。通过利用指数或高斯 MT 函数，对多个经验测量变换协方差矩阵进行近似联合对角化来估计分离矩阵，MTICA 在相比核方法时展现出更低的复杂度，同时实现了鲁棒且一致的源信号恢复。

ABSTRACT

In this paper we derive a new framework for independent component analysis (ICA), called measure-transformed ICA (MTICA), that is based on applying a structured transform to the probability distribution of the observation vector, i.e., transformation of the probability measure defined on its observation space. By judicious choice of the transform we show that the separation matrix can be uniquely determined via diagonalization of several measure-transformed covariance matrices. In MTICA the separation matrix is estimated via approximate joint diagonalization of several empirical measure-transformed covariance matrices. Unlike kernel based ICA techniques where the transformation is applied repetitively to some affine mappings of the observation vector, in MTICA the transformation is applied only once to the probability distribution of the observations. This results in performance advantages and reduced implementation complexity. Simulations demonstrate the advantages of the proposed approach as compared to other existing state-of-the-art methods for ICA.

研究动机与目标

• 开发一种基于统计的 ICA 方法，避免迭代数据重处理并降低实现复杂度。
• 在较弱条件下确保混合矩阵的唯一识别，即使最多一个源为高斯分布。
• 通过利用 Fisher 和 B-鲁棒的经验 MT-协方差估计器，提升对异常值和分布偏离的鲁棒性。
• 提供一个统一的框架，通过灵活且结构化的测量变换，推广现有 ICA 方法。
• 在模拟实验中展示相对于最先进 ICA 技术的性能优势。

提出的方法

• 该方法对观测向量的概率测度应用非负 MT 函数（指数或高斯函数），在观测空间中诱导出新的概率分布族。
• 定义测量变换（MT）协方差矩阵为 MT 函数与源分布的函数，证明其在弱正则条件下具有强一致性和 Fisher 一致性。
• 通过在不同测试点上计算的多个经验 MT-协方差矩阵的近似联合对角化来估计分离矩阵。
• 测试点通过独立同分布的标准正态和均匀随机变量在单位 l2-球内随机生成，以确保解的几乎必然唯一性。
• 对于高斯 MT 函数，该方法确保 MT-协方差矩阵的特征值几乎必然互异，从而实现混合矩阵的唯一恢复。
• 分析了经验 MT-协方差的影响力函数，以建立 B-鲁棒性，并给出了确保鲁棒性的 MT 函数的充分条件。

实验结果

研究问题

• RQ1 对观测分布单次应用结构化测量变换，是否能够实现一致且唯一的 ICA 估计？
• RQ2 所提出的 MTICA 框架是否比基于核的 ICA 方法具有更好的异常值鲁棒性？
• RQ3 在 MT 函数和源分布满足何种条件下，可通过 MT-协方差对角化唯一识别混合矩阵？
• RQ4 该方法是否能避免迭代数据重处理，同时仍实现盲源分离的高性能？
• RQ5 MTICA 在分离精度和计算复杂度方面与最先进 ICA 算法相比表现如何？

主要发现

• 所提出的 MTICA 框架在最多一个源为高斯分布的条件下，通过多个 MT-协方差矩阵的近似联合对角化，确保了混合矩阵的唯一识别。
• 经验 MT-协方差估计器具有强一致性和 Fisher 一致性，且给出了确保 B-鲁棒性的 MT 函数的充分条件。
• 对于指数 MT 函数，MT-协方差矩阵对应于矩生成函数的 Hessian 矩阵，将 MTICA 与 Yeredor（2000）等现有 ICA 方法联系起来。
• 当使用高斯 MT 函数时，MT-协方差矩阵的特征值几乎必然互异，从而在相同条件下确保混合矩阵的唯一恢复。
• 模拟结果表明，MTICA 在分离精度和鲁棒性方面优于其他最先进的 ICA 方法，尤其在非高斯和重尾源存在时表现更优。
• 与基于核的 ICA 相比，该方法实现了更低的实现复杂度，因为测量变换仅对分布应用一次，而非对数据投影迭代应用。